Linuxでテキスト処理を行う際にawkをよく使います。 awkを使うと、例えばa b c と並んでいるデータをb a c と並び変えて出力したり、数字をカンマ区切りにしたりできます。 今回はawkを使用してテキストの先頭行/最終行/行指定を行うスクリプト＋αを書いていきます。 サンプルテキスト /rootでls -l > /tmp/txt をした結果です。 12行のテキストファイルとなっています。 [root@localhost ~]# cat /tmp/txt 合計 12 -rw-------. 1 root root 1898 7月 28 23:20 anaconda-ks.cfg -rw-r--r--. 1 root root 1926 7月 28 14:23 initial-setup-ks.cfg drwxr-xr-x. 10 root root 4096 7月 28 15:3

文字列の長さ順にソートすると美しい。 なんでなんだろうね。アルファベット順よりも文字列長さ順でソートすると、出力がきれいに見えるんだよね。 awk/sort で文字列の長さ順にソートする。 command | awk '{print length() ,$0}' | sort -nr 例えばPATHをソートしてみる takuya@~$ echo -e ${PATH//:/'\n'} | awk '{print length() ,$0}' | sort -nr 26 /Users/takuya/.rbenv/shims 26 /Users/takuya/.pyenv/shims 24 /usr/local/share/npm/bin 24 /Users/takuya/.pyenv/bin 18 /Users/takuya/.bin 15 /usr/local/sbin 14 /usr/lo

The GNU Awk User's Guide - 正規表現 動的正規表現を使う `~'演算子や`!~'演算子の右辺に置くものは正規表現定数(スラッシュの間に置 かれた文字列)である必要はなく、任意の式を置くことができる。そのような式 は評価され、必要があれば文字列に変換される。評価され変換が行なわれた 結果は正規表現として扱われる。 このように演算が行われる正規表現は動的正規表現(dynamic regular expression)と呼ばれる。例を挙げよう。 BEGIN { identifier_regexp = "[A-Za-z_][A-Za-z_0-9]+" } $0 ~ identifier_regexp { print } これはidentifier_regexpにawkでの変数名を表す正規表現をセ ットし、入力レコード中にこの正規表現にマッチするものがあるかをテストす るも

AWK（オーク）を使ったワンライナーはとても強力で簡便なテキスト処理を可能とします．最近は，Perl や Ruby でもほとんど同様のことができ，取って代わられて久しいですが未だにその枯れ力といいますか，汎用性に関しては群を抜いているように思います． また，awk とは AWK の処理系のことを指しています． 一般に元祖 awk と呼ばれる処理系が最初と言われています．実際はわかりませんが，絶滅種の如く見かけることはなく，その文法などに関しても関数定義などの基本的な部分が抜けていたので New awk（通称，nawk）として多少の文法が追加された処理系が，その流派を継いでいます． そして GNU プロジェクトによって大幅強化された awk が gawk です． よく見かけるのは，gawk か nawk のどっちかだと思います． 現在，Linux では標準で gawk が，OS X では 2

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

先日のシェル芸勉強会ではWebサーバのログを扱った。ファイルサイズは約356MB、約350万行程度のそれなりに大きなテキストデータだった。このくらい大きなデータになると処理速度が気になってくるところ。 ではどんなところに気をつけるといいのか？下記の2点に注目して試してみることにした。 マルチコアの恩恵を受ける 一つのコマンドで頑張るより、パイプで刻んで複数のコマンドで処理した方が早くなる場合がある。何でもかんでも早くなるわけでは無い。パイプの流れが途中で止まら無いことが重要。 例えばsort処理は一度データを全てメモリに取り込む必要があるため、流れを止めてしまう。またパイプの最初で処理速度が遅いと、後ろのコマンドが手持ち無沙汰で遊んでしまうので遅くなる。 高速なコマンドで先にデータを絞り込む パイプの流れを途中で止めないためには、先に高速に処理できるコマンドを持ってくる。ここでは高速処理出

以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

追記が増えたので整理 経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると 「catいらなくね？」と指摘 さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter　＜　「キャッシュに入れて高速化してるんかと思った」 とコメントをもらいました。ので、どっちが速いかの検証です。 注意 加工の目的はログファイルからある期間だけの行を抜き取りたい 正規表現がいけてないのは気にしない 比較 awkにファイル指定す