気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
BigQueryで単語分割がしたい - 唯物是真 @Scaled_Wurm
4 users
sucrose.hatenablog.com
sucrose.hatenablog.com
sucrose.hatenablog.com
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
形態素解析器で分割してからBigQueryに載せればいいでしょって話ではあるのですが、既に載っているデー... 形態素解析器で分割してからBigQueryに載せればいいでしょって話ではあるのですが、既に載っているデータだったり、ログを載せるプロセスに形態素解析を新たに噛ませるのは大変だったりします とりあえず試してみたいだけの時に気軽にやりたいので、BigQuery上で単語分割できないか調べてみました さすがにSQLで単語分割するのは無理ですが、BigQueryではUDF(ユーザー定義関数)が使えるのでJavaScriptのライブラリを使います JavaScriptで単語分割できるライブラリは例えば以下のようなものがありますが、サイズなどの制限の問題でTinySegmenterを使います TinySegmenter: Javascriptだけで実装されたコンパクトな分かち書きソフトウェア stop-the-world: ブラウザで自然言語処理 - JavaScriptの形態素解析器kuromoji.
sucrose.hatenablog.com
sucrose.hatenablog.com
sucrose.hatenablog.com
sucrose.hatenablog.com
anond.hatelabo.jp
kensuu.com
bunshun.jp
anond.hatelabo.jp
zenn.dev/yasuna
laiso.hatenablog.com
togetter.com
lichtung.hatenablog.com
pc.watch.impress.co.jp
www.publickey1.jp
about.fb.com
niryuu.hatenablog.com
sucrose.hatenablog.com
sucrose.hatenablog.com
sucrose.hatenablog.com
sucrose.hatenablog.com
www.didyco.jp
2021/02/05 リンク