きまぐれ日記: IMEにおける「文節」とは何ぞや

暮らしカテゴリーの変更を依頼記事元:

chasen.org/~taku

26 usersがブックマークコメント

コメント

4

記事へのコメント4件

注目コメント
新着コメント

gologo13 最適な文節単位とは．

IME
KKC

2011/01/25 リンク

facet たしかに。何ぞや。

2008/02/08 リンク

yowa > 工学的には、IMEの変換候補の最大表示数を n とするならば、ある文節の変換候補の平均分割数（perplexity) が n を超えない程度の長さが最適な文節長といっていいと思います。

2007/07/30 リンク

kat0usi 工学的には、IMEの変換候補の最大表示数を n とするならば、ある文節の変換候補の平均分割数（perplexity) が n を超えない程度の長さが最適な文節長

NLP

2007/07/29 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

きまぐれ日記: IMEにおける「文節」とは何ぞや

とあるIME開発者と仮名漢字変換(IME)における「文節」についてディスカッションする機会がありました。... とあるIME開発者と仮名漢字変換(IME)における「文節」についてディスカッションする機会がありました。今まであまり真剣に考えたことなかったのですが、この「IME文節」、いろんな意味で興味深いということを改めて認識しました。学校文法や自然言語処理におけるいわゆる「文節」とは統語的な性質からほぼ一意に決定できる単位です。簡単には自立語連続＋付属語と言えるでしょう。たとえば、「東京特許許可局で工藤は講演をした。」は東京特許許可局で｜工藤は｜講演した。の3文節になります。小学校のときに「～ね」を挿入できる単位として習ったかと思います。しかし、IMEで上記の文を変換してみると。東京|特許|許可局で|工藤は｜講演した|。と分割されます。(WinXP) あきらかにNLP業界の文節と単位が異なるようです。このIMEが使っている分割の単位を「IME文節」と呼ぶことにしまし

ブックマークしたユーザー

shiraco2015/03/01
mori-tahyoue2011/07/22
dlit2011/07/22
funaki_naoto2011/07/22
gologo132011/01/25
hoshimin2008/10/02
facet2008/02/08
tokada2007/09/05
bignight2007/08/17
fuba2007/08/14
uchiuchiyama2007/08/03
kana03552007/07/30
bunhiko2007/07/30
yowa2007/07/30
Listlessness2007/07/30
sassano2007/07/29
kat0usi2007/07/29
dbfireball2007/07/29

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - 暮らし

いま人気の記事 - 暮らしをもっと読む

新着記事 - 暮らし

新着記事 - 暮らしをもっと読む

設定を変更しましたx