気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
Groongaの自作トークナイザーの紹介 - Qiita
3 users
qiita.com/naoa
qiita.com/naoa
qiita.com/naoa
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
はじめに Groongaは、トークナイザー、ノーマライザー、トークンフィルター、コマンド、関数をC言語かC+... はじめに Groongaは、トークナイザー、ノーマライザー、トークンフィルター、コマンド、関数をC言語かC++の共有ライブラリ形式のプラグインで拡張させることができます。 当方が自作したトークナイザーをいくつか紹介します。 TokenBigram GroongaのデフォルトのTokenBigramトークナイザーでは、所定のユニットサイズで、1文字ずつずらしてトークナイズされます。 > tokenize TokenBigram "今日は雨だ" NormalizerAuto [[0,1418629522.17365,0.00184750556945801],[{"value":"今日","position":0},{"value":"日は","position":1},{"value":"は雨","position":2},{"value":"雨だ","position":3},{"value
qiita.com
qiita.com
qiita.com/naoaki-yzrh
qiita.com/naoaki-yzrh
www.kao.com
dailyportalz.jp
toyokeizai.net
togetter.com
aws.amazon.com
future-architect.github.io
www.itmedia.co.jp
voidzero.dev
atmarkit.itmedia.co.jp
qiita.com/WdknWdkn
www.nikkei.com
qiita.com/nantekkotai
qiita.com/nantekkotai
qiita.com/naogify
qiita.com/naoi
sakumaga.sakura.ad.jp
www.e-aidem.com
suumo.jp
tech.bm-sms.co.jp
2014/12/15 リンク