追記: sort を使ã†ã¨ãã¯ï¼ŒLC_ALL=C を忘れãšã« - ny23ã®æ—¥è¨˜
> wc --lines unigram_raw.txt 290768333 unigram_raw.txtãã‚‚ãも，ãŸã‹ã ã‹3å„„è¦ç´ ，1.7Gã®ãƒ‡ãƒ¼ã‚¿ã®ã‚½ãƒ¼ãƒˆã«ï¼Œæœ€è¿‘ã®ãƒžã‚·ãƒ³ã§ sort | uniq -c ãŒ858分もã‹ã‹ã‚‹ã®ã¯å¤‰ã§ã™ã‚ˆã． > export LC_ALL=C > time sort -S 2G unigram_raw.txt | uniq -c > tmp.sort.uniq sort -S 2G unigram_raw.txt 389.93s user 16.32s system 99% cpu 6:49.61 total uniq -c > tmp.sort.uniq 15.40s user 1.56s system 4% cpu 6:49.62 totalIntel Xeon E5462 (3.2Ghz) ㌠Dual Core AMD Opteron 1210
LC_ALL環境変数ã¨sortコマンド - sileã®ãƒ–ãƒã‚°
自分ã®ç’°å¢ƒã§ã¯ã€sortコマンドを実行ã™ã‚‹æ™‚ã«LC_ALL環境変数ã«'C'をセットã™ã‚‹ã‹ã—ãªã„ã‹ã§ã€å‡¦ç†çµ‚了ã¾ã§ã®æ™‚é–“ãŒè‘—ã—ã変ã‚る。 # ç´„40万行ã®ãƒ‡ãƒ¼ã‚¿ > wc -l words 392126 words # å…¥ã£ã¦ã„ã‚‹ã®ã¯UTF-8ã®æ—¥æœ¬èªž(IPA辞書を利用) > head words ã‚„ã¼ã£ãŸã„ ã‚„ã¼ã£ãŸã— ã‚„ã¼ã£ãŸã‹ã‚‰ ã‚„ã¼ã£ãŸã‹ã‚ ã‚„ã¼ã£ãŸã‹ã£ # 普通ã®ã‚½ãƒ¼ãƒˆ > time sort words > /dev/null real 0m37.158s user 0m37.098s sys 0m0.056s # LC_ALL=Cã§ã®ã‚½ãƒ¼ãƒˆ > time LC_ALL=C sort words > /dev/null real 0m0.293s user 0m0.284s sys 0m0.008s ãƒã‚±ãƒ¼ãƒ«ã‚’考慮ã—ã¦ã‚½ãƒ¼ãƒˆã™ã‚‹ã‹ã©ã†ã‹ã®é•ã„ã ã¨æ€ã†ãŒ(LC_ALL=Cã®å ´åˆã¯ã€
RE: sort を使ã†ã¨ãã¯ï¼ŒLC_ALL=C を忘れãšã« - ny23ã®æ—¥è¨˜
Twitter ID ã‚‚ livedoor ID ã‚‚ãªã„ã®ã§ç›´æŽ¥ã‚³ãƒ¡ãƒ³ãƒˆã§ããªã„ãŒï¼Œsort (GNU coreutils) ã®å誉ã®ãŸã‚ã«ï¼Œã“ã“ã«ãƒ¡ãƒ¢ã—ã¦ãŠã． 404 Blog Not Found:algorithm - bucketsort.[ch] - 汎用ã‹ã¤libcã®*sortより高速㪠ã¾ãšç¬¬ä¸€å°è±¡ã¨ã—ã¦ï¼Œã“ã®ç¨‹åº¦ã®ã‚µã‚¤ã‚ºã®ãƒ•ã‚¡ã‚¤ãƒ«ã®ã‚½ãƒ¼ãƒˆã§ sort (GNU coreutils) ãŒã„ã¾ã©ãã“ã‚“ãªã«é…ã„ã¯ãšã¯ãªã„．LC_ALL=C ã§è¿½è©¦ã™ã‚‹ã¨ï¼Œã‚„ã¯ã‚Š bucketsort ã¨ã®å·®ã¯ç„¡ããªã£ãŸï¼Žä¸Šã®è¨˜äº‹ï¼ˆã«å¯¾ã™ã‚‹ãƒ„イート）㯠Twitter 上ã§ã‚‚ãã‚Œãªã‚Šã«ãƒªãƒ„イートã•ã‚Œã¦ã„るよã†ã«è¦‹ãˆã‚‹ã®ã ã‘ã©ï¼Œã“ã®å®Ÿè¡Œæ™‚é–“ã«é•å’Œæ„Ÿã‚’æ„Ÿã˜ã‚‹äººãŒå…¨ãã„ãªã„ã®ã¯ã©ã†ã„ã†ã“ã¨ãªã®ã ã‚ã†ã‹ï¼Žsort を実際ã«ä½¿ã†äººãŒã»ã¨ã‚“ã©è¦‹ã¦ã„ãªã„ã®ã‹ï¼Œãã‚Œã¨ã‚‚計算é‡ãŒé•ã†ã‹ã‚‰é€Ÿãã¦å½“然ã¨ã„ã†æ€ã„è¾¼ã¿ã‹ï¼Ž
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}