課題 解決策 対策概要 発生状況 対策詳細 所感 注意 参考 課題 subprocessモジュールを利用して外部のシェルスクリプトを起動することがある。そのシェルスクリプトにおいて子プロセス（バックグラウンドプロセスなど）が動作している最中に、subprocessで設定したtimeoutが発生した。このとき、直接起動したシェルスクリプトのプロセスはkillされるが、その子プロセスは残存しているようだ。timeoutが発生した際には子プロセスも含めてkillしたいがどうすればよいか。 解決策 対策概要 起動するプロセスを別のセッションとして管理し、python の timeout 例外 catch において、プロセスグループ ID に対してkill する。 発生状況 最初に「課題」の状況が発生する様子を示す。以下のようなスクリプトを用意した。シェルスクリプトでは（subprocessで設定し

Engineer’s Codex is a publication about real-world software engineering. Subscribe now I recently came across a quote by Linus Torvalds (creator of Linux and Git) in this great Stack Overflow post. (This post reviews many quotes from that post.) It succinctly described a problem I’ve been working on recently: "Bad programmers worry about the code. Good programmers worry about data structures and t

Ubuntu で有名な Canonical 社が OSS として提供する仮想マシン管理ツール「Multipass」を利用して macOS 上で Docker 環境を構築してみた はじめに アノテーション テクニカルサポートチームの 川崎 です。 現在私は、クラスメソッド グループ、アノテーション株式会社で AWS のテクニカルサポートと、新卒メンバー向けの育成に携わっています。 チームメンバーがローカルのmacOS上で自由に開発できるDocker環境を探していたところ、「Multipass」という最適なツールを見つけましたので、ブログで共有します。 以前はDocker Desktopが無料で利用できましたが、一部有料化されたため、代替ソフトウェアを探していました。Multipass は OSS として提供されており、マルチプラットフォーム対応で、macOS、Windows、Linux で使

タイトルの通り、AWS IoT Greengrass V2をTerraformとAnsibleでRaspberry Piに導入するサンプル作りました。 github.com 概要は以下になります。最終的にはRaspberry Piから発行されたMQTTメッセージがAWS IoTで確認できるはずです。 前提 実行手順 事前準備 Raspberry Pi準備 Gitリポジトリの準備 Makefileのパラメータ確認 Terraform実行 Ansible実行 Greengrassへのコンポーネントデプロイ Greengrassコンポーネントをデバイスにデプロイ AWS IoT MQTTテストクライアントでメッセージ確認 前提 PC環境 Linux Git Make Docker AWS CLI Raspberry Pi 以下のOSイメージを利用しています。（恐らく他のDebianでも動くはず）

コンピュータは便利ですが，それでも手間のかかる作業は多々あります。とくにGUI（グラフィカルユーザーインターフェース）のソフトウェアで次のような作業をやらないといけないとしたら，面倒そうだと思いませんか？ 複数のファイルのファイル名を一括で変更する 大量の画像ファイルの中から全く同じ画像のファイルを探す 複数のファイルに記録されている数ヵ月にわたるログから特定の期間の情報だけを抽出する これらの作業をするには，ファイラー（Windowsのエクスプローラーなど）やエディタだけでは限界があります。専用ソフトをいくつか使ったり，単純な手作業を繰り返したりして作業することになります。 その点，シェルやスクリプト言語を使えば細かな条件をプログラミングすればどんな作業でも片付けられます。また，ターミナルのCLI（コマンドラインインターフェース）上では，コードを書いてそのまま実行できるため，たいへんお手

ユニケージ開発手法は、Unix系OSにおいてコマンドとシェルスクリプトでシステムを開発する手法である。Unix系OSの基本機能のみを使用して、高速にデータ処理を実行できる。ユニバーサル・シェル・プログラミング研究所はこの手法の商標権を持ち、かつ独自コマンドの開発を続けている企業だ。同社 SI統括部長の井上祐一氏が、ユニケージ開発技法の持つ利点をデモンストレーションを交えながら解説した。 有限会社ユニバーサル・シェル・プログラミング研究所 SI統括部長 井上祐一氏 実装が用意。かつパフォーマンスに優れるユニケージ開発手法 ユニケージ開発手法は、データをテキストファイルで持ち、単機能のコマンドをパイプラインやリダイレクトなどと組み合わせてデータ処理を行うことに特徴がある。 Unix系OSが持つ既存コマンドでは処理ができなかったり、コンピューターの計算コストが高くなったりしてしまう場合には、新規

前提として、/bin/sh は、デフォルトでは、RHEL系の場合bashシェル、Debian系の場合dashシェルへのsymlinkになっています。この2つのシェルの挙動は細かいところで結構異なります。そもそもの思想として、dashシェルはPOSIX互換を目指す軽量なシェルであり、bashは拡張された高機能なシェル。なのでbash前提で書かれたシェルスクリプトがdashでは動かない、みたいなことはよくあります。そういう感じで困ることがままありますが今回もそういう話。 例えば % sh -c "sleep 100" のようなコマンドを実行した場合、呼び出し元の子プロセスが sh になり、その更に子プロセスが sleep になると直感的には思うでしょう。つまり以下のような具合。 . \_ sh -c sleep 100 \_ sleep 100 しかし、 sh の実体が bash である場合な

B! 6 0 0 0 前に作った shell-logger というシェルスクリプト用ロガーツールをアップデートして Traceback機能を付けたりしてみました。 shell-logger コマンドラインで使う シェルスクリプトの中で使う Traceback 各種設定 shell-logger shell-logger: シェルスクリプトで良い感じにログアウトプットを管理する etc/shell-logger.sh</del>/etc/shell-logger**というファイルを読み込むと debug, info, notice, warn, errと言った関数が使える様になります。 追記: 2022/08/07 現在はshell-loggerとshを取った名前になっています。 追記ここまで インストールはcurlを使って $ curl -fsSL https://raw.github.c

シュレッダー『shred』 UNIX系OSでは、さまざまなリソースをファイルという形で抽象化する。ディスクも「/dev/名前」というファイルとして抽象化されている。shredコマンドでディスクを対象にすれば、ディスクをシュレッダーにかけることが可能になるだろう。実際には、こんな操作をすることは一生ないと思うが、機密データが含まれたディスクを破棄したい時などに利用できるかもしれない。 物は試しだ。ここでは連載の主旨に従って実行してみよう。 Ubuntu Serverでshred /dev/sdaを実行 Ubuntu Server 18.04 LTSでshredコマンドを実行してみる。 Ubuntu Server 18.04 LTS dfコマンドで調べると、/dev/sda2が/にマウントされていることがわかる。つまり、/dev/sda2に対してshredコマンドを実行すると、/以下がズタボロ

初級者向けに『自分がシェルスクリプト書くときに気をつけていること』をまとめてみました。 @masudaKの『シェルスクリプトを書く際に気を付けていること8箇条』の乗っかりエントリです。 内容は重複しないように書いてますので合わせて読んでください！ 基本的にLinuxの/bin/sh、/bin/bashを想定しています。 テキスト処理は標準入力から受け取って標準出力に出す テキストを扱う小さなツールを作りましょう。 引数はオプション情報を渡すのに使います。 そうすればgrep、sort、uniqなどの便利なコマンドとパイプで連携できます。 grep ERROR /tmp/test.log | my_cmd1.sh 192.168.1.1 | sort 全てを実行する1つのスクリプトを作るのはたいへんだし、応用が効かないです。 人間に伝えたいメッセージは標準エラー出力に出す パイプでつないだ時

AWSを日常的に触っていると、シェルスクリプトを書く機会が山のようにあります。あるんだけれど、どうにも考え方が特殊というか、他の一般的なプログラミング言語とは扱い方が違うというか、使いこなせて無い感を強く持ってました。 そんな折、SoftwareDesign2018年1月号でシェルスクリプト特集があったので、渡りに船とばかり購入して読んでみたところ、むっちゃええ感じの特集だったのでここに紹介いたします。 普段からシェルスクリプト書いているんだけれど、「これで良いんかなぁ」というモヤモヤ感をお持ちの方には有用なヒントが満載の特集だと思いますYO __ （祭） ∧ ∧ Y　 ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉     ｼｪﾙｽｸﾘﾌﾟﾄﾀﾞﾜｯｼｮｲ |_|＿| し'´Ｊ 以下、コマンド例は、bashを前提としています。 第1章「使えるシェルスクリプトにするために」 最初の章では、「使えるシェ

知っているUnixのコマンドで一番シンプルなものは何ですか？ 例えば echo という、stdoutに文字列を出力し true を返す – すなわち常に0の終了コードで終了するシンプルなコマンドがあります。 シンプルな、と言えば yes もそうでしょう。引数なしで実行すると、改行されたyが無限に出力され続けます。

日常から使えるUnix系OS業務効率up技 気分転換に、普段からLinuxで作業する上で割と便利なツールだったり小技を共有します。知ってたらごめんね 一応全部MacでもLinuxでも動くはずです。 高速化系 axel , aria2c http://qiita.com/sarumonera/items/2b30999d7d41a4747d74 https://goo.gl/gsFrCT https://wiki.archlinuxjp.org/index.php/Aria2 http://qiita.com/TokyoMickey/items/cb51805a19dcee416151 こいつらは割と有名（？）かなと思います。やってることはcurlやwgetとほとんど変わらず、サーバにHTTPリクエストを送ってレスポンスを取ってくるだけなのですが、ダウンロードを高速化するためにtcpコネクシ

概要 YAMAHAルータ RTX系のNAT変換セッショ値を Linuxサーバからcronでシェルスクリプト回して5分ごとの値を取得する。 シェルスクリプトの内容 ・expectコマンド(対話型)を使ってルータにアクセスし、必要情報を取得 ・取得したテキストを加工して、セッション値、日付等を取り出し。 準備 ・expectコマンドのインストール yum install expect ・ルータ内のコマンド NATの動作状態確認 show nat descriptor address all ルータ環境確認 show enviroment サンプル ※cronで回すので、シェルは絶対パスで書く。 ルータにアクセスして必要情報を取得するシェル(rtxnat.sh) 参考： expectコマンドの使い方 – No:158 – Linuxで自宅サーバ構築（新森からの雑記） #!/bin/sh #---

複数の接続元からSSH接続をさせたい、かつそのうち1つのユーザーは動的IPアドレスから接続させなければならない、という要件はよくある話です。こうしたユーザーのためにSSHで使用するTCP/22番ポートをフルオープンにするのは躊躇われるかと思いますので、こんな仕組みを考えてみました。 ユーザー「hamada」は固定IPアドレスからTCP/22へssh接続させる ユーザー「nullpopopo」は動的IPアドレスからTCP/12345へssh接続させる 下記手順を行う前に、あらかじめ hamada ユーザーと nullpopopo ユーザーを useradd コマンドで作成しておいてください。 Ansible徹底入門 クラウド時代の新しい構成管理の実現 ■ sshd_config 設定変更 まず、 /etc/ssh/sshd_config で 22番ポートのほかに12345番ポートでsshdを