気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
大規模データで単語の数を数える - ny23の日記
77 users
ny23.hatenadiary.org
ny23.hatenadiary.org
ny23.hatenadiary.org
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
大規模データから one-pass で item（n-gram など）の頻度を数える手法に関するメモ．ここ数年，毎年の... 大規模データから one-pass で item（n-gram など）の頻度を数える手法に関するメモ．ここ数年，毎年のように超大規模な n-gram の統計情報を空間／時間効率良く利用するための手法が提案されている．最近だと， Storing the Web in Memory: Space Efficient Language Models with Constant Time Retrieval (EMNLP 2010) とか．この論文では，最小完全ハッシュ関数や power-law を考慮した頻度表現の圧縮など，細かい技術を丁寧に組み上げており，これぐらい工夫が細かくなってくるとlog-frequency Bloom filter (ACL 2007) ぐらいからから始まった n-gram 頻度情報の圧縮の研究もそろそろ収束したかという印象（ちょうど論文を読む直前に，この論文の7節の
ny23.hatenadiary.org
ny23.hatenadiary.org
ny23.hatenadiary.org
ny23.hatenadiary.org
mixi.social
omocoro.jp
aellune.com
note.com/yomooog
anond.hatelabo.jp
togetter.com
togetter.com
anond.hatelabo.jp
www.itmedia.co.jp
news.yahoo.co.jp
anond.hatelabo.jp
togetter.com
opensource.srad.jp
www.aoki-style.com
www.barks.jp
2013/09/24 リンク