シェルスクリプト高速化ã®ãƒ„ボ - 新・日々録 by TRASH BOX@Eel
ã“ã‚Œã¯å‚™å¿˜éŒ²ã€‚ 色々ã‚ã£ã¦ã€ã¾ã 具体的ãªãƒ¢ãƒŽã‚’何も作ã£ã¦ã‚‚ãªã„ã®ã«ã‚·ã‚§ãƒ«ã‚¹ã‚¯ãƒªãƒ—トã®ãƒ‘フォーマンス絡ã¿ã§ãƒã‚¿ã‚’åŽé›†ã—ã¦ã—ã¾ã£ãŸã®ã§ã€ã²ã¨ã¾ãšã¾ã¨ã‚ã¦ã¿ãŸã€‚ shellshock（bashã®ã‚¢ãƒ¬ï¼‰ãŒã‚ã£ãŸã°ã‹ã‚Šãªã®ã§ã€ã¡ã£ã¨ã°ã‹ã‚Šå¾®å¦™ã‹ã‚‚。 計測ã—ã¦ãƒœãƒˆãƒ«ãƒãƒƒã‚¯ã‚’探㙠ã¾ãšã¯ä½•ã‚ˆã‚Šã‚‚計測ã™ã‚‹ã“ã¨ã€‚time(1)を活用ã™ã¹ã—。 データé‡ãŒå¤šã„ã¨å•é¡ŒãŒè¡¨é¢åŒ–ã™ã‚‹ã®ãŒå®šç•ªã®ãƒ‘ターンãªã®ã§ã€ãƒ¯ãƒ³ãƒ©ã‚¤ãƒŠãƒ¼ç‰ã§ã•ãã£ã¨ãƒ†ã‚¹ãƒˆãƒ‡ãƒ¼ã‚¿ã‚’作æˆã—ã¦å®Ÿé¨“ã™ã‚‹ã¨å‰ã€‚ ループ構文よりもテã‚ストフィルタを使ㆠ一般的ã«ã¯ã€ãƒ«ãƒ¼ãƒ—構文を使ã†ã‚ˆã‚Šã‚‚ã€ãƒ‘イプã§ãƒ†ã‚ストフィルタã«é€£çµã—ã¦å‡¦ç†ã—ãŸæ–¹ãŒé«˜é€Ÿã 。 # NG seq 1 1000000 | while read i; do echo "$i"; done # NG # while readã»ã©ã§ã¯ãªã„ãŒé…ã„ # （bashã§ã¯å‹•ã„ãŸãŒã€dashã‚„busyboxã®shã§
xargsã§è¤‡æ•°è¡Œã®ã‚³ãƒžãƒ³ãƒ‰ã‚’実行ã™ã‚‹æ–¹æ³• - ãれマグã§ï¼
xargs ã§è¤‡æ•°è¡Œã®ã‚³ãƒžãƒ³ãƒ‰ã‚’実行ã—ãŸã„。 出æ¥ãªã„・・・ ls *.txt | xargs -I@ echo @ ; sleep 1 forループãªã‚‰ã§ãã‚‹ã‚“ã ã‘ã©ã€for ループã ã¨ã©ã†ã—ã¦ã‚‚ä¸ä¾¿ã€‚ xargs ã§ã‚·ã‚§ãƒ«ã‚³ãƒžãƒ³ãƒ‰ã‚’作ã£ã¦æ¸¡ã™. xargs ã ã¨é™ç•ŒãŒã‚ã‚‹ã®ã§ã€ã‚‚ã†ã‚·ã‚§ãƒ«ã®æ–‡å—列ã«ã—ã¦æ¸¡ã™ã—ã‹ã€ä»–ã«é¸æŠžè‚¢ãŒãªã„。 ls *.txt | xargs -I@ sh -c 'echo @ ; sleep 1' ã“ã‚Œãªã‚‰å‹•ãã‚“ã§ã™ã€‚å‹•ãã‚“ã§ã™ã€‚ xargs ãŒï¼‘ã¤å®Ÿè¡Œã™ã‚‹ãŸã³ã«ã€ sh -c 'echo @ ' ã®@ ã®éƒ¨åˆ†ã«ãƒ•ã‚¡ã‚¤ãƒ«ã‚’æ–‡å—列ã¨ã—ã¦å…¥ã‚Œã¦æ¸¡ã—ã¦ãれる。 bash ã§ã‚‚ã„ã„ sh ã ã¨æ©Ÿèƒ½ãŒå°‘ãªã„ã®ã§ã€bashã«ã—ã¦ã‚„ã‚‹ã¨ã„ã†æ‰‹æ®µã‚‚å–れる。 ls *.txt | xargs -I@ bash -c 'echo @ ; sleep 1' æ¡ä»¶åˆ†å²ã‚‚ ã‚‚ã†ã“ã“ã¾ã§ããŸ
並列実行ã¯xargsコマンドã®ãƒžãƒ«ãƒãƒ—ãƒã‚»ã‚¹ã‚’使ã†ã¨æ¥½ã¡ã‚“高速化ã§ã™ã。 - ãれマグã§ï¼
ruby ã§åŒæ™‚処ç†ã®ã‚¹ãƒ¬ãƒƒãƒ‰åˆ¶å¾¡ã€€ã§ã‚¹ãƒ¬ãƒƒãƒ‰åˆ¶å¾¡ã—ãªãŒã‚‰ã€ã‚ューを使ã‚ãšã‚³ãƒžãƒ³ãƒ‰ã‚’並列実行ã—ã¦ããŸã€‚ よã考ãˆãŸã‚‰ã€ã“ã‚“ãªè»Šè¼ªã®å†ç™ºæ˜Žãªã©ã—ãªãã¦ã‚‚先人ã®çŸ¥æµã‚’借りãŸã»ã†ãŒæ¥½ãã†ã€‚ 調ã¹ã¦ã¿ãŸã‚‰xargsã«åŒæ™‚実行ã®ã‚ªãƒ—ションãŒã‚ã‚‹ã®ã‚’確èªã—ãŸã€‚ max-procsã®ã“ã®ã‚ªãƒ—ションを知ã£ã¦ã€ã›ã£ã‹ã覚ãˆãŸã¦ã® find -exec 投ã’æ¨ã¦ãŸããªã£ãŸ xargs 最強ã˜ã‚ƒãªã„ã§ã™ã‹ã€‚ xargs ã«ã‚³ãƒžãƒ³ãƒ‰ã‚’並列実行ã™ã‚‹æ–¹æ³•ãŒã‚る。 -P/ --max-procs オプション --max-procs=max-procs -P max-procs Run up to max-procs processes at a time; the default is 1. If max-procs is 0, xargs will run as many processes as possib
xargs ã®ã‚ªãƒ—ションã„ã‚ã„ã‚ - Qiita
xargs ã¯ä¾¿åˆ©ãªã‚³ãƒžãƒ³ãƒ‰ã§ã™ã€‚ xargs を使ã†ã“ã¨ã«ã‚ˆã‚Šã€è¤‡é›‘ãªãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ã‚’ã—ãªã„ã§ã‚‚ã€æ‰‹è»½ã«ä¸¦åˆ—処ç†ã‚’実ç¾ã§ãã¾ã™ã€‚ 準備 実験環境 今回実験ã«åˆ©ç”¨ã™ã‚‹ç’°å¢ƒã¯ CentOS 6.4 ã§ã™ã€‚ xargs 㯠Linux 系㨠BSD ç³»ã§ã‚ªãƒ—ションãŒç•°ãªã‚Šã¾ã™ã®ã§ã€ã”注æ„下ã•ã„。 実験用スクリプト 今回ã®å®Ÿé¨“ã«åˆ©ç”¨ã™ã‚‹ã‚¹ã‚¯ãƒªãƒ—トã§ã™ã€‚ã“ã®ã‚¹ã‚¯ãƒªãƒ—トを xargs ã®å¼•æ•°ã«æ¸¡ã—ã¾ã™ã€‚ 以é™ã€ã“ã®ã‚¹ã‚¯ãƒªãƒ—トã®æ§˜ã« xargs ã«æ¸¡ã™ã‚³ãƒžãƒ³ãƒ‰ã‚’〠xargs 引数コマンド ã¨å‘¼ã¶ã“ã¨ã«ã—ã¾ã™ã€‚ #!/bin/sh # 実行時間を擬態 sleep 1 # コマンド引数表示時ã®æœ€å¤§æ–‡å—æ•° max_len=50 # 最大文å—数を超ãˆãŸå ´åˆã®ãƒˆãƒªãƒŸãƒ³ã‚° a=$@ if [ $max_len -lt ${#a} ] then a="${a:0:$max_len}..." fi # プãƒã‚»ã‚¹ç•ªå·
指定日付以å‰ã®å¤ã„ファイルを削除ã—ãŸã‚Šç§»å‹•ã™ã‚‹æ–¹æ³•
<IT技術ã®å‡¦æ–¹ç®‹ï¼šæŒ‡å®šæ—¥ä»˜ä»¥å‰ã®å¤ã„ファイルを削除ã—ãŸã‚Šç§»å‹•ã™ã‚‹æ–¹æ³•> システムをé‹ç”¨ã—ã¦ã„ã‚‹ã¨ã€ ãƒã‚°ãƒ•ã‚¡ã‚¤ãƒ«ã‚„データファイルãªã©ãŒ ã©ã‚“ã©ã‚“溜ã¾ã£ã¦ã„ãã¾ã™ã。 ãã‚“ãªãƒ•ã‚¡ã‚¤ãƒ«ã€ã„ã¤ã‹ã¯ç§»å‹•ã—ãŸã‚Šå‰Šé™¤ã™ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã™ã。 â—ãã‚Œã«ã¯ã€findã¨xargsã‚’ã†ã¾ã使ã†ã¨ã‚³ãƒžãƒ³ãƒ‰ä¸€ç™ºã§å¯¾å‡¦ã§ãã¾ã™ã€‚ （例１） find ./ -mtime +50 -name "*.txt" | xargs mv --target-directory=./aaa ファイルåã«.txtãŒã¤ã„ã¦ã€æœ€å¾Œã«ä¿®æ£ã•ã‚ŒãŸã®ãŒï¼•ï¼æ—¥ã‚ˆã‚Šå‰ã®ã‚‚ã®ã‚’〠aaaã¨ã„ã†ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã«ç§»å‹•ã•ã›ã‚‹æ–¹æ³•ã§ã™ã€‚ （例２） find ./ -mtime +50 -name "*.txt" | xargs rm -f ファイルåã«.txtãŒã¤ã„ã¦ã€æœ€å¾Œã«ä¿®æ£ã•ã‚ŒãŸã®ãŒï¼•ï¼æ—¥ã‚ˆã‚Šå‰ã®ã‚‚ã®ã‚’〠削除ã™ã‚‹æ–¹æ³•ã§ã™ã€‚ （解説） xargsã¯ã€æ¨™
xargsã«bashã®functionを渡ã™æ–¹æ³• - (wrist blog)
ã‚ã£ã•ã‚Šã§ãã‚‹ã‹ã¨æ€ã£ãŸã‚‰æ„外ã«æ™‚é–“ãŒæŽ›ã‹ã£ã¦ã—ã¾ã£ãŸã®ã§çºã‚ã¦ãŠã。 ãƒã‚¤ãƒ³ãƒˆã¯2点ã§ã€ export -f 関数å ã—ã¦ãŠã xargsã§ã¯bash -c "コマンド" を実行ã™ã‚‹ ã§è¡Œã‘ãŸã€‚ 例 パスã«ãã®basenameã—ãŸçµæžœã‚’TAB区切りã§é€£çµã—ãŸã ã‘ã®æ–‡å—列をechoã™ã‚‹é–¢æ•°ã‚’定義ã™ã‚‹ã€‚ $ function echo_with_basename(){ > echo -e "$1\t`basename $1`" # -eオプションãŒç„¡ã„ã¨\tãŒTABã«å¤‰æ›ã•ã‚Œãªã„ > }ã“ã®é–¢æ•°ã‚’次ã®ã‚ˆã†ã«ãƒ•ã‚¡ã‚¤ãƒ«ãƒªã‚¹ãƒˆã‚’出力ã—ãŸçµæžœã‚’パイプã§ç¹‹ãŽxargsã«æ¸¡ã™ã€‚ $ cat filelist.txt /home/wrist/data/A00000.txt /home/wrist/data/A00001.txt /home/wrist/data/A00002.txt /home/wrist
xargs -P ãŒæ¿€ã—ã便利ãªã®ã§ãƒ¡ãƒ¢ - ãŠã¨ã‚‚ã ã¡ãƒ†ã‚£ãƒ¼ã‚¿ã‚¤ãƒ
xargs ã® -P オプションを使ã†ã¨ãƒ—ãƒã‚»ã‚¹ã‚’複数起動ã—ã¦å‡¦ç†ã‚’並列ã«è¡Œãªã†ã“ã¨ãŒå‡ºæ¥ã‚‹ã€‚ 例 例ãˆã°ã€ 1 万枚㮠JPEG ç”»åƒã‚’全㦠800x800 ã«åŽã¾ã‚‹ã‚ˆã†ã«åŠ¹çŽ‡è‰¯ãリサイズã—ãŸã„。 ã¾ãšç§ã¯ã“ã®ã‚ˆã†ãªã‚³ãƒžãƒ³ãƒ‰ã‚’考ãˆãŸã€‚ convert --geometry 800x800 *.jpg ã—ã‹ã— zsh ã«æ€’られãŸã€‚ zsh: argument list too long: convert 引数ãŒå…¨ã¦å±•é–‹ã•ã‚Œã‚‹ãŸã‚ã“ã®ã‚ˆã†ãªäº‹ãŒèµ·ãる。 ç§ã¯ xargs を使ã£ã¦å‡¦ç†ã™ã‚‹ã“ã¨ã‚’æ€ã„付ã„ãŸã€‚ ls | xargs -I{} convert --geometry 800x800 {} c_{} 処ç†ã¯è¡Œãªã‚れるãŒéžå¸¸ã«é…ã„。 ã—ã‹ã‚‚ CPU ã‚’å…¨ã使ã£ã¦ã„ãªã„ã“ã¨ãŒåˆ†ã‹ã‚Šã€ç§ã¯å‡¦ç†ã‚’並列的ã«è¡Œãªã†äº‹ã‚’考ãˆãŸã€‚ ãã“㧠xargs ã® -P オプションã®å‡ºç•ªã§ã‚る。 P ã®å¾Œã«ä¸¦åˆ—
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GNU parallel used with xargs and awk
Bash Shell awk/xargs magic
findã¨xargsã§sleepã—ãªãŒã‚‰ãƒ•ã‚¡ã‚¤ãƒ«ç§»å‹•ã™ã‚‹ - Qiita
xargsã§å‡¦ç†ã®é–“ã«sleepを挟む - Qiita
{{#tags}}- {{label}}
{{/tags}}