Download as PDF, PPTX
![langdetect (language-detection)
[中谷 2010]
• 言語判定 Java ライブラリ
– 新聞記事などの長く整った文章向け
– 文字 3-gram + ベイジアンフィルタ
– http://code.google.com/p/language-detection/
• 詳細:
– Language Detection Library for Java
– http://www.slideshare.net/shuyo/language-detection-library-for-java](https://image.slidesharecdn.com/nlpimplementationpython-150522121941-lva1-app6891/75/Python-PyDataTokyo-24-2048.jpg)
![ldig (Language Detection with Infinity-Gram)
[中谷 NLP2012]
• twitter などの短文用の言語判定器
– 短文用の判別モデル
– ツイートコーパスを独自に作成
• 実装
– https://github.com/shuyo/ldig (Python)
– https://github.com/shuyo/ldig/tree/cpp/ldigcpp
(C++)
• 詳細：
– Short Text Language Detection with Infinity-Gram
– http://www.slideshare.net/shuyo/short-text-language-detection-with-infinitygram-
12949447](https://image.slidesharecdn.com/nlpimplementationpython-150522121941-lva1-app6891/75/Python-PyDataTokyo-25-2048.jpg)
![twitter でやってみた！
• 精度 92% まで落ちる
– 3-gram では素性が足りなかった？
• ∞-gram ロジスティック回帰[岡野原+ 08]
– 任意の長さの部分文字列を素性に
• これを使えばできるかもしれない？
– プロトタイプで確認してみよう](https://image.slidesharecdn.com/nlpimplementationpython-150522121941-lva1-app6891/75/Python-PyDataTokyo-32-2048.jpg)
More Related Content
![[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...](https://cdn.slidesharecdn.com/ss_thumbnails/dl20220318dlfin-220322065433-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]SlowFast Networks for Video Recognition](https://cdn.slidesharecdn.com/ss_thumbnails/20191206slowfastnetworkkuboshizuma-191206010601-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to 言語処理するのに Python でいいの？ #PyDataTokyo
![[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...](https://cdn.slidesharecdn.com/ss_thumbnails/sparse-constrained-lda-151024072334-lva1-app6891-thumbnail.jpg?width=640&height=640&fit=bounds)
![ACL2014 Reading: [Zhang+] "Kneser-Ney Smoothing on Expected Count" and [Pickh...](https://cdn.slidesharecdn.com/ss_thumbnails/kneser-neyacl2014-140711113350-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametri...](https://cdn.slidesharecdn.com/ss_thumbnails/dp-mrmkimicml2012-120727233419-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
言語処理するのに Python でいいの？ #PyDataTokyo
- 1. 言語処理するのに Python でいいの？ PyData.Tokyo #52015/5/22 サイボウズ・ラボ株式会社 中谷 秀洋(@shuyo)
- 2.
- 5. 今日の発表の姉妹編 • 数式を綺麗にプログラミングするコツ – http://www.slideshare.net/shuyo/programming-based-on-formula –夏のプロシン2013 – 数式をコードに「短く」「正確に」落とす
- 6. 自然言語処理 • 自然言語処理とは？ – 自然言語をコンピュータでうんぬん（略） •自然言語＋処理 – 「実装して動いて なんぼ」
- 7.
- 8.
- 9.
- 10. 「やっぱり Python が いいんですかねえ」 or 「やっぱりPython じゃあ まずいですかねえ」
- 11.
- 12.
- 13. 自然言語処理の実装 • モデルの理解やドメインの知識 ＞＞…… ……＞＞プログラミング能力 – プログラミングが必ずしも得意じゃない – 数学が（ｒｙ – （データ解析とか統計処理とかも同様） • 「好きなプログラミング言語で実装」 • 「アプリに合わせて言語を選ぶ」 – おまえは何を言っているんだ状態
- 14.
- 15. 多すぎるし！ • Python – Numpy/ Scipy – Scikit-learn – Theano – Caffe – NLTK • C++ – Octava / Eigen – Vowpal Wabbit • Java – Mahout – Spark MLlib – Weka – Stanford CoreNLP • .NET – Accord.NET • Lua – Torch • Jubatus • OpenCV • AzureML • Amazon ML • R • MATLAB • …… • …………
- 16.
- 17. プログラミング言語選びガイド • どのようなところが言語処理に向いてるか、 向いていないか – Python –C++ – Java – (R言語) • できるだけ公平に評価 – あとで「聞いてないよ！」と後悔しないように
- 18. Python • 手軽 – 書いたらすぐ動く –エラーもわかりやすい（超重要） • 豊富なライブラリ – Cython みたいな裏技めいたものも • v2 と v3 の並立による混乱 – 例えば Theano は v3 未対応
- 19. C++ • 速度 – うまく書けば速い •省メモリ（重要） – うまく書けば大規模OK • うまく書けば…… – うまく書ける人は少ない – 落とし穴の多さ深さでは誰にも負けない！
- 20. Java • 環境要件ドリブン – Hadoopありきとか –J2EE サーバを使うことが決まっているとか • 開発者（経験者）が多い – （あとから）人を集められる • 強力な IDE – 誰が書いても同じコード。保守性が高い • 冗長すぎる – Java で書いてる人「Javaで書きたくない」
- 21. (R言語) • 計量言語学やコーパス言語学の畑でよく 使われている印象 • エンジニアは…… –文字列の扱いに癖がある – 統計処理だけで完結しない場合に手間が多い
- 22.
- 23. 具体例：言語判定 • テキストが何語で書かれたものか推定 – 今日はいい天気ですね→ 日本語 – It’s a fine day → 英語 – Een hele mooie dag → オランダ語 • 言語処理の前提タスク – 何語の言語モデルを使えばいいか – 検索、翻訳、分類、etc
- 24. langdetect (language-detection) [中谷 2010] •言語判定 Java ライブラリ – 新聞記事などの長く整った文章向け – 文字 3-gram + ベイジアンフィルタ – http://code.google.com/p/language-detection/ • 詳細: – Language Detection Library for Java – http://www.slideshare.net/shuyo/language-detection-library-for-java
- 25. ldig (Language Detectionwith Infinity-Gram) [中谷 NLP2012] • twitter などの短文用の言語判定器 – 短文用の判別モデル – ツイートコーパスを独自に作成 • 実装 – https://github.com/shuyo/ldig (Python) – https://github.com/shuyo/ldig/tree/cpp/ldigcpp (C++) • 詳細： – Short Text Language Detection with Infinity-Gram – http://www.slideshare.net/shuyo/short-text-language-detection-with-infinitygram- 12949447
- 26. なんかよくわからなかった？ • 言語判定が2種類ある – langdetect(きれいな長文用) – ldig (きたない短文用) • ことだけ押さえておいてください
- 27. 実装の変遷 • langdetect – プロトタイプ: Ruby – プロダクト : Java • ldig – プロトタイプ : Python – プロトタイプ2 : C++ • 「なぜその言語で実装したの？」
- 28.
- 29. 製品の検索機能に 言語の絞り込みを付けたい • 既存の言語判定器を調査 – 対応言語が少ない＆精度が低い •「3-gram＋ベイジアンフィルタ」で十分 精度が出せそうな気がするから試そう – 簡単なモデル（カウントさえできればいい） – どの程度の精度が見込めるか手早く知りたい
- 30. langdetect プロトタイプ • Rubyで実装 – 速度は遅く、行列ライブラリもない（当時） – テキスト処理が得意な、慣れた言語 • ものが動くまでの時間が短い • テスト – 16言語の判定に92% • 特徴設計、クリーニング等を全くしていない – 望む精度が出せる見込みが立った
- 31. langdetect プロダクト • Javaで実装 – Apache Solr に組み込みたい（環境要件！） • オープンソースの Java 製検索エンジン – 53言語 99.8% の精度 • ライブラリをオープンソースで公開 – Solr の言語判定器として同梱 – Hadoop への組み込みで普及
- 32. twitter でやってみた！ • 精度92% まで落ちる – 3-gram では素性が足りなかった？ • ∞-gram ロジスティック回帰[岡野原+ 08] – 任意の長さの部分文字列を素性に • これを使えばできるかもしれない？ – プロトタイプで確認してみよう
- 33. ldig プロトタイプ • Pythonで実装 – 高次元ベクトルの計算 • Ruby ではツライ – 予想：クリーニングで激しく試行錯誤するだろう • （予想通り） – 一部分だけ C++ • 素性(極大部分文字列)の抽出は重すぎる • 岡野原さんの C++ ライブラリを使う
- 34. Trie / DoubleArray •前方一致する文字列を探索するアルゴリズム – 膨大かつ長さ不定の素性の探索に利用 • 当初、dict で素朴に Trie を実装 – 10MB のコーパス食わせたらメモリオーバー • 「高速」かつ省メモリな DoubleArray に – メモリはギリギリ足りたが、速度は劇遅に • pure Python コードが増えた – 学習にまる1日かかる • DoubleArray が処理全体の3～7割を占める
- 35. ldig プロトタイプ2 • C++で実装 – より大規模なコーパスを食わせたい – メモリをきちんと使えばもっといける • 問題：C++の文字列は言語処理に適さない – 1「キャラクタ」＝1バイト≠1文字 – wchar ってのもあるが、いろいろ面倒
- 36. cybozu::String (cybozulib) • https://github.com/herumi/cybozulib –3-Clause BSD License • C++ で文字列を扱う – std::string インターフェース互換 – 1「キャラクタ」＝1文字 – 正規表現で .(dot) が1文字にマッチ – Python, Java などと同じ感覚で文字列を扱える※ ※内部表現の違い等に起因する細かい仕様の違いは存在する
- 37. おまけ：Cython • Python コードを静的にコンパイル –うまくいけば、少ない労力で高速化 – ldig の場合、DoubleArray が 3～9倍速、全体では 学習が2割up、推定が倍速に • Python コードの時点で最適化したものはあまり 速くならない – class メンバの型に制限があったり – 中途半端に型指定すると逆に遅くなることも • 試してみるのはアリ – メモリ管理事情は変わらないので、問題がそっちにある なら C/C++ に行かないと解決しない
- 38. まとめ • 複数のプログラミング言語を学ぶ余裕があれ ば Betterだけど…… – Python / C++ / Java ができればまず困らない • 1つしかできないなら、やりたいこと・規模 にあわせて選択したいけど…… – 自分に合わない言語は身につかない！ – 「実装できて なんぼ」 • 安心して Python を選ぼう