![フィルタ処理
• 引数に与えられたファイルまたは
標準入力に対して特定のテキスト処理を行う
• grep, cut, sed, awk, sort, uniq
!
• 以降では，cmd [input] と表記した場合
[input]にはファイル名が入るが，省略した場合は
標準入力を使用する](https://image.slidesharecdn.com/rnccshell-150902142742-lva1-app6891/85/-25-320.jpg)
![grep
• grep expr [input]
• exprにマッチする行を出力する
• grep -v expr [input]
• exprにマッチしない行を出力する
• grep -r expr /some/path
• /some/path配下からexprにマッチするファイル
およびその箇所を出力する](https://image.slidesharecdn.com/rnccshell-150902142742-lva1-app6891/85/-26-320.jpg)
![cut
• cut -d <delim> -f num [input]
• <delim>を区切り文字として，num番目の列を
出力する
• numには 1,3-5 (1と3-5行目)のように範囲を指
定できる](https://image.slidesharecdn.com/rnccshell-150902142742-lva1-app6891/85/-29-320.jpg)
![sed
• sed expr [input]
• 入力を行ごとにexprに従って処理する
• expr
• s/[pat1]/[pat2]/g # pat1をpat2に置換する
• patに / が含まれる場合はエスケープが必要
• 区切り文字は別のものでも良い (@,#,%など)](https://image.slidesharecdn.com/rnccshell-150902142742-lva1-app6891/85/-31-320.jpg)
![awk
• awk expr [input]
• テキスト処理のために作られたスクリプト言語
• 行単位で処理を行う
• デフォルトで空白をいい感じに扱ってくれる
• 空白とタブが混じっていても大丈夫
• cutで崩れるような場合に便利](https://image.slidesharecdn.com/rnccshell-150902142742-lva1-app6891/85/-33-320.jpg)
![sort
• sort [input]
• 入力をソートする (ソートキーを変更可能)
• -t <delim> # 区切り文字をdelimにする
• -k <key1> # key1から行末をソートキーにする
• -b # 行頭のスペースを無視
• -r # 降順
• -i # ignore case](https://image.slidesharecdn.com/rnccshell-150902142742-lva1-app6891/85/-37-320.jpg)
![uniq
• uniq [input]
• 重複する行を消して出力
• -c # 消した行数をカウントする
!
• sort と組み合わせて使うことが多い](https://image.slidesharecdn.com/rnccshell-150902142742-lva1-app6891/85/-38-320.jpg)
![find
• 演習3 解答:
• find /Users -name .DS_Store ¦ xargs rm -f
!
• find /Users -name .DS_Store
• /Users以下に含まれる.DS_Storeを検索
• xargs rm -f
• rm -f [.DS_Store1] [.DS_Store2]…](https://image.slidesharecdn.com/rnccshell-150902142742-lva1-app6891/85/-44-320.jpg)
シェル芸初心者によるシェル芸入門
- 2. $ whoami • @icchyr • 某濃厚な大学のB3 • Activity • CTF (tuat_mcc, TokyoWesterns) • ICPC (nocow) など
- 3. Agenda • シェル芸について • シェルの機能を理解する • 実用的なシェル芸
- 4. シェル芸
- 5. シェル芸を覚えるメリット • あらゆる処理を一撃で終わらせられる • カッコイイ • 便利 ! • 基本的にパイプで繋ぐので超高速 • マルチプロセスの恩恵をフルに授かれる
- 6. シェル芸を覚えるデメリット • 敬遠される • 一般人から見るとキモい ! • シェルが使えない環境に苛立ちを覚えるようになる • Windowsを消したくなる衝動に駆られる
- 7. シェルの機能を理解する • IO • パイプ • リダイレクト • フィルタ処理 • 内部展開 • 制御構文
- 9. IO (Input and Output) Linuxの入出力は大きく分けて3つ 標準入力 標準出力 エラー出力 IOには番号(File Discriptor)が割り振られている 標準入力 0, 標準出力 1, エラー出力 2 普通の出力は1番 エラーメッセージは2番
- 10. IO (Input and Output) ターミナル(端末)には識別番号がつけられている コンソールから直接ログイン → tty ターミナルエミュレータ → pts (仮想tty) tty pts tty/1 tty/2 tty/3 tty/4 tty/5 tty/6 tty/7 pts/0 pts/1 pts/2 pts/3 pts/4 pts/5 pts/6 pts/7 接続するたびに増える ．．．
- 11. IO (Input and Output) 現在開いているターミナルエミュレータは tty/7で起動したGUIから仮想的に接続しているもの ttyを切り替えるには Ctrl + Alt + F1~7を押す (tty/1~7)
- 12. IO (Input and Output) ターミナルに出力されているのは 自身のターミナル識別番号に出力された結果 $ ls -la total 184 drwxr-x--x 21 root ubuntu… drwxr-xr-x 6 root root… …. /dev/pts/0
- 13. IO (Input and Output) 実際は出力をデバイスファイルに書き込んでいる cat ls.bash /dev/pts/10 /proc/self/fd/0 現在のprocess自身の ファイルディスクリプタ0番(標準入力) シンボリックリンク ls -la pts/10 シェルが書き込む
- 14. リダイレクト シェルでは コマンドの出力を任意のファイルに書き出す コマンドへの入力を任意のファイルから行う ことが可能 例 ls -l > res.txt ls -l の結果がres.txtに書き込まれる bash < cmd.txt cmd.txtに書かれた内容を実行
- 15. リダイレクト ls -l > res.txt ls -l /proc/self/fd/0 res.txt (新規作成)
- 17. リダイレクト リダイレクトを組み合わせることもできる bash < cmd.txt > res.txt cmd.txtに書かれた内容をbashで実行し， その結果をres.txtに書き出す コマンド >> output と書くとoutputの末尾に追加する $ echo -n “hoge” > out $ echo -n “fuga” >> out $ cat out hogefuga
- 18. リダイレクト • リダイレクト先をfile descriptor (fd)で指定できる • grep -r / 2>/dev/null # エラー出力を無視 • grep -r / 2>&1 # エラー出力を標準出力 ! • &(fd number)でfdをファイルのように扱える
- 19. パイプ コマンドの実行結果を次のコマンドの入力にする 例). headは標準入力の先頭10行を出力する $ ls -la > ls.result $ head < ls.result ls.resultというファイルを通じて実行結果を見る ! $ cat ls.result | head headに対する入力を”|”(パイプ)を通じて行う “|” - JIS配列ならBackSpaceの左にあるキー
- 21. パイプ 内部的に何が起こっているか ! ! $ cat ls.result > tmp $ head < tmp ptscat ls.result | head head cat ls.result head < {cat ls.result の結果}
- 22. パイプ cat ls.result と ls -la の出力結果は同じ ! ! それぞれのコマンドは 完全に独立した動き ptsls -la | head head ls -la の実行結果 入力の先頭10行
- 23. 内部展開 • シェルではコマンドの実行結果をそのまま展開して 用いることができる • `command` (バッククオートで囲む) • $(command) (先頭に$をつけたカッコで囲む)
- 24. 内部展開 • 内部では別プロセスが立ち上がり，その結果が展開 される (後述するxargsで似たような処理が可能) file `which ls` which ls file /bin/ls /bin/ls /bin/ls: ELF 64-bit LSB Executable…
- 25. フィルタ処理 • 引数に与えられたファイルまたは 標準入力に対して特定のテキスト処理を行う • grep, cut, sed, awk, sort, uniq ! • 以降では，cmd [input] と表記した場合 [input]にはファイル名が入るが，省略した場合は 標準入力を使用する
- 26. grep • grep expr [input] • exprにマッチする行を出力する • grep -v expr [input] • exprにマッチしない行を出力する • grep -r expr /some/path • /some/path配下からexprにマッチするファイル およびその箇所を出力する
- 27. grep • 演習1: /home以下から現在ログインしているユー ザーの名前を含むファイルを全て列挙して下さい • ただしバイナリファイルのマッチ結果および エラー出力(permission deniedなど)は出力しては なりません． • また，どの環境で実行しても同じ処理ができるよう にして下さい． (bashで)
- 28. grep • 演習1 解答: • grep -r `whoami` /home ¦ grep -v matches 2>/dev/null ! • grep -r と grep -v はよく使う • エラーが多すぎる場合は/dev/nullに投げて無視
- 29. cut • cut -d <delim> -f num [input] • <delim>を区切り文字として，num番目の列を 出力する • numには 1,3-5 (1と3-5行目)のように範囲を指 定できる
- 30. cut • 例) • cat /etc/passwd ¦ cut -d : -f1,6 • 全ユーザー名とログインシェルを列挙
- 31. sed • sed expr [input] • 入力を行ごとにexprに従って処理する • expr • s/[pat1]/[pat2]/g # pat1をpat2に置換する • patに / が含まれる場合はエスケープが必要 • 区切り文字は別のものでも良い (@,#,%など)
- 32. sed • 例) • cat /etc/passwd ¦ sed s/bash/zsh/g • 全ユーザーのログインシェルをbashからzshに変更 • 結果は出力されるだけ • 反映させたい場合は-iオプションとファイルを指定 • 対象ファイルへのwrite権限が必要
- 33. awk • awk expr [input] • テキスト処理のために作られたスクリプト言語 • 行単位で処理を行う • デフォルトで空白をいい感じに扱ってくれる • 空白とタブが混じっていても大丈夫 • cutで崩れるような場合に便利
- 34. awk • 処理の流れ • BEGIN { statement } # 開始処理 (pattern) { statement } … END { statement } # 終了処理 • BEGINとENDは無くてもよい • patternにマッチするとその中身が実行される
- 35. awk • 例) /etc/passwdでbashとnologinの数を計算 • /bash/ { ++bash } • /nologin/ { ++nologin } • END { print bash: bash, nologin: nologin} • 宣言されていない変数は自動的に初期化される • awk /bash/{++bash} /nologin/{…
- 36. awk • 標準でさまざまな変数が用意されている • NR => 処理中の行番号 (1 index) • $n => 分割後のn番目の要素 ($0は行全体) • ps aux ¦ awk NR>1 {print $1} • 現在のプロセスIDを全列挙
- 37. sort • sort [input] • 入力をソートする (ソートキーを変更可能) • -t <delim> # 区切り文字をdelimにする • -k <key1> # key1から行末をソートキーにする • -b # 行頭のスペースを無視 • -r # 降順 • -i # ignore case
- 38. uniq • uniq [input] • 重複する行を消して出力 • -c # 消した行数をカウントする ! • sort と組み合わせて使うことが多い
- 39. フィルタ処理 • 演習2: rootが動かしているプロセスのうち，メモ リ使用率が高いものから順番にPIDを10個出力して 下さい • まずはrootが動かしているプロセスを列挙 • メモリ使用率でソートするためには? • 先頭N行出力するコマンドはhead -n N
- 40. フィルタ処理 • 演習2 解答: • ps aux ¦ grep ^root ¦ awk {print $4,$2} ¦ sort -r ¦ head ¦ cut -d -f2 ! • awkで出力順序を変更してソートしやすくする
- 41. xargs • xargs cmd • 引数を標準入力から受け取りコマンドを実行 • 標準入力が複数行ある場合 一行に連結して実行する • cat filelist.txt ¦ xargs rm # => rm file1 file2 file3 file4… # filelist.txtに含まれるファイルを消去する
- 42. find • find <path> <expr> • pathからexprにしたがって検索を実行する • expr (よく使うもの) • -name <filename> • filenameに一致したファイルのパスを出力する
- 43. find • 演習3: /Users以下に存在する.DS_Storeを全て削 除して下さい ! • 憎き.DS_Storeを殺せ
- 44. find • 演習3 解答: • find /Users -name .DS_Store ¦ xargs rm -f ! • find /Users -name .DS_Store • /Users以下に含まれる.DS_Storeを検索 • xargs rm -f • rm -f [.DS_Store1] [.DS_Store2]…
- 45. ☕ 一旦休憩 ☕
- 46. 💀 危険シェル芸 💀
- 47. 危険シェル芸 • マウスも使わず，ソースコードも残さず， GUIツールを立ち上げる間もなく， あらゆる破壊・迷惑・自滅行為を CLI端末へのコマンド入力一撃で終わらすこと． ! • 引用元: http://blog.ueda.asia/?page_id=3752
- 48. :(){: ¦ : &};:
- 49. :(){: ¦ :&};: • :() • : という関数を定義 • {: ¦ :&}; : • :を:にパイプで繋ぐのをバックグラウンドで実行 ! • 無限にプロセスが増殖する
- 50. :(){: ¦ :&};: • 言わずと知れたフォーク爆弾 ! • Dockerからやるとホストが死ぬらしい ! • 要は実行するな
- 51. ps aux ¦ grep bash ¦ grep -v $$ ¦ awk {print $2} ¦ xargs kill -9
- 52. ps aux ¦ grep bash ¦ grep -v $$ ¦ awk {print $2} ¦ xargs kill -9 • ps aux • プロセスを全列挙 • ¦ grep bash • bashプロセスを抽出 • ¦ grep -v $$ • $$ (自分自身)を除外する
- 53. ps aux ¦ grep bash ¦ grep -v $$ ¦ awk {print $2} ¦ xargs kill -9 • ¦ awk {print $2} • PIDを列挙し • ¦ xargs kill -9 • kill する ! • つまり自分以外のbashを全員殺す
- 54. 超迷惑なのでやめましょう
- 55. ☕ 休憩おわり ☕
- 56. 制御構文 • シェル(bash)では多くの制御構文がサポートされて いる • よく使うもの • for, while read • {} (ブロック)
- 57. for • 言わずと知れたfor文 • 少し癖がある ! • $ for((i=0;i<10;i++)) > do > echo $i > done
- 58. for • bashならば0 9までの数字が一行ずつ出力される • zshならparse error ! • $ for i in `seq 0 9` > do > echo $i > done
- 59. for • seq start end • start から endまでの数字を順に出力 • seq start d end • start から endまでの数字をdおきに出力 ! • for((i=0;i<10;i+=2)) ==> for i in `seq 0 2 9`
- 60. while • while cond • condがtrueの間続く処理をループする ! • $ while true > do > echo hoge > done
- 61. while • while read line • 標準入力から一行ずつ$lineに読み込む • $lineを参照することで行単位の処理が可能 • $ cat filelist.txt ¦ while read line > do > rm $line > done # filelist.txtに書かれているファイルを削除
- 62. {} (ブロック) • 複数コマンドの処理をひとまとめにしたもの • パイプで繋げることができる • 制御構文を使わなくとも複数行の処理を行える • 内部で変数に一旦保存したい時とか便利
- 63. 実用的なシェル芸
- 65. まとめ • 手元で色々できて便利