文節区切り判定器の実装を公開 - ny23の日記

文節区切り判定器の実装を公開 - ny23の日記

一年ほど前に構文解析器を公開したが，（文節区切りされたデータを入力する仕様で）単体では使えない状...概要を表示 一年ほど前に構文解析器を公開したが，（文節区切りされたデータを入力する仕様で）単体では使えない状態のままずっと放置していた．ところが最近になって，幾つかの共著論文で公開した構文解析器を引用する機会があり，このままではマズイと思ったので，現時点で使っている文節区切り - ny23の日記で書いた200行弱のシンプルな文節区切りの実装を同梱してみた．文節区切りの入出力がパイプ経由の文字列渡しなのは明らかに無駄なのだけど，気にしないことにしよう． MeCab と組み合わせる場合，解析速度は新聞記事だと入出力（UTF-8）込みで12,000文／秒，ブログ記事なら21,000文／秒程度（3.2 Ghz CPU; MeCab だけだと，新聞記事で22,000文／秒程度（入出力込み）なので，そんなに悪くない速度ではないかと）*1．係り受けのところだけで評価すると（デフォルトのパラメタで）解析精度は91.8

• nlp
• 後で読む