tsubosaka.hatenadiary.org
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
タイトルは釣りです。id:mamorukさんの書いたHadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵... タイトルは釣りです。id:mamorukさんの書いたHadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵野日記を読んで、そもそも1G程度のデータの単語頻度を数えるのに858分もかかるんだっけと思い、id:nokunoさんの資料を読んでみると単語頻度を求める際に a b a aみたいなデータを a 3 b 1に変形するのにsortしたファイルをuniq -cで処理するということをやっていた。これはあまり効率のよい方法ではなくて行数をNとしたときにO(N log N)の計算時間となる(文字列比較はO(1)でやれることにする)。 これに対して、単語の頻度をハッシュ表で保存すると理想的な条件の元ではO(N)の計算時間で頻度を求めることが出来、より高速に計算することが可能となることが期待される。 また、単語数をWとしたとき、C++のmapのような二分探索木を使ってもO(N
tsubosaka.hatenadiary.org
tsubosaka.hatenadiary.org
tsubosaka.hatenadiary.org
tsubosaka.hatenadiary.org
huyukiitoichi.hatenadiary.jp
zenn.dev/lugendre
anond.hatelabo.jp
natalie.mu
anond.hatelabo.jp
www.cnn.co.jp
anond.hatelabo.jp
anond.hatelabo.jp
soredoko.jp
togetter.com
ameblo.jp/kisaragikurumi
www.moongift.jp
www.otoa.com
ameblo.jp/lovebre
gihyo.jp
2010/07/17 リンク