ブラウザから使える IME としては AjaxIME が有名ですが、AjaxIME よりは仮名漢字変換モデルをがんばっているので、多少精度がよいようです。 ATOK 2007 はたまたま失敗する事例ばかり集めているので悪く見えますが、 普段はもっとよいですね。言語モデルを Web コーパスから作り、仮名漢字 変換モデルを新聞記事から作っているので、上記4つの硬い文は ChaIME でも正しく変換できることは予測可能ですが、下記4つは難しいです。 このような文体で書かれたコーパス(ブログデータ?)から仮名漢字変換モデル を学習するとうまく行くかもしれません。 統計的仮名漢字変換 統計的仮名漢字変換について ページを分けました。 既知の問題点(優先度順) unigram によるバックオフ(辞書引き回数が減る) 仮名漢字モデルの Google 日本語 N グラムからの推定 現在2GBの辞書サイズ

17:05 09/08/31 FLTV FLTV で、 『レトリカルプログラミング』（副題： 真・自然言語プログラミング）と題して発表してきました： 発表スライド。 未来の言語…と言われて、いつもしているような言語機能妄想をバラバラと語ればよいのかなー と思って途中まで発表ネタを組んでたのですが、 やっぱり一本スジが通ってる方が面白いだろうということで、一つ軸を通しました。 テーマは「日本語や英語をプログラミング言語と見なしてみると、 実はヤツらはとてもパワフルで凄いので未来の言語は是非パクるべき」。 スライドでは私の思う具体例を３つほど挙げてるんですが、 まあそれはあくまで例でして、伝えたかったのは 「ちょっとみなさん自然言語からプログラミング的な『機能』を探すという考え方をしてみると面白いかもですよ？」 という軸そのものの方です。きっとあの３つの他にも色々あるはず。 ネタ元は、 今年の

こんにちは。検索グループ解析チームの nabokov7 です。 今回は、livedoor キーワードでの事例より、テキストの類似度を測るのに便利な手法を紹介します。 livedoor キーワードは、livedoor ブログでその日その日で話題になった語をランキング表示するサービスです。 当初、はてなキーワードやWikipediaを足して2で割ったようなサービスを作れといった開き直った指示のもとで開発が開始されたともいう、分社化前の芸風の名残で、キーワードの検索結果にはユーザが自由に解説を書き込める Wikipedia 的スペースもついています。 で、この解説部分に、さまざまなサイトから文章をまる写ししちゃう人がとても多いのですね。 特に多いウィキペディア日本語版からの剽窃を防止するために、livedoor キーワードでは以下のような対策を講じることにしました。 ウィキペディア日本語版の解説

String::Trigram 手軽にできないかと調べてみると Perl には String::Trigram (cpan) というモジュールがあって比較結果を数値化して判断する、というようなことができるみたい。 n-gram 形式で処理するので単語辞書などがいらない。辞書のメンテナンスが入らない反面、n-gram のウィークポイントはスピードだった気がする... String::Trigram でテキストの類似度を測る文Aと文Bでは語順が入れ替わっていますが、トライグラムに分解して要素比較すると、それぞれ10あるトライグラムのうち、6つまで (図中 '*' で示したもの) が共通であることがわかります。このような手法で文章同士の類似度を測ったり、もっとも似ている文章を引っ張ってきてくれたりするのが、この String::Trigram なのです。livedoor Developers B

$Id: dic-detail.html 161 2008-02-03 09:58:46Z taku-ku $; 概要 単語辞書の構造を理解することで, MeCab を汎用的なテキスト変換ツールとして利用することができます. 例えば, ひらがな to カタカナ変換, ローマ字 to ひらがな変換, Auto Link等を MeCab だけで実行できます ファイル 単語辞書を構築するには, 最低以下のファイルを作成する必要があります. *.csv ファイル (単語辞書) matrix.def (連接表) unk.def (未知語用品詞定義) char.def (未知語の文字定義) dicrc (設定ファイル) *.csv ファイル 単語辞書です エントリは, 以下のような CSV で追加します. test,1223,1223,6058,foo,bar,baz 最初の4つは必須エントリで,

podcastle eto さんらの、素晴らしい成果。 未来をかいま見た感じ。 「Podcast の内容を検索できる」 これだけ聞いて、ピンとこないかもしれない。 ピンと来た人はセンスあります。 なんと Podcast の音声の内容を音声認識によって文字情報に変換し、 その内容を検索できるのです。 つまり真の意味で、情報として Podcast を検索できるのです。 そして、参加している面々が素晴らしい。 人による手作業の修正で、どんどん認識エンジンが賢くなる仕組み。 （でもこの作業は Podcast 発信者が必死でやらないと、 質は保てないだろうな。そこがサービスとして難しいところか） 修正のためのユーザインタフェースは、逸品です素晴らしい！ 決して派手じゃないけど、素晴らしい！ 産総研もやるじゃないか。 Google に注目されそう、というか買収されそうな気配さえするぞ。 音声認識技術は

エラー<error> <message>GET/POST param q is invalid.</message> </error>米Y!の同じ機能を持ったAPIを参考にしています。 Term Extraction Documentation for Yahoo! Search Web Services サンプルレスポンス http://zuzara.dyndns.org/api/koshian?q=Microsoft+マイクロソフト <ResultSet> <Result id="2454">MICROSOFT</Result> <Result id="2454">マイクロソフト</Result> </ResultSet>デモフォーム 適当な文章を入力してください。 注意点 サーバの回線が細いのが不安です。将来的にドメイン名が変わる可能性が高いです。蹴飛ばしてケーブルが抜ける等の生活に

日本語形態素解析器MeCabとは 工藤拓氏作の日本語形態素解析器 MeCabは、日本語の文を単位(形態素)に分割、認定する自然言語処理ツールです。各スクリプト言語バインディングを備え、多くのツールで使われている優れたツールです。 使用しているバージョンは次です。 MeCab 0.97 mecab-ipadic 2.7.0-20070610 mecab-python 0.97 素晴しいツールを作成、公開、保守されている工藤拓氏に感謝いたします。 MeCab REST Web Serviceとは MeCab REST Web Serviceとは、MeCabのpython bindingを利用して、Zope 上で実現した形態素解析のREST タイプのweb serviceです。日本語文を引数として受け付け、形態素解析結果をXML として表示、返します。 利用法 MeCab

hidew 2006.11.20 #1469 無駄に長い文章を要約するツール はてなブックマーク - 無駄にエロいブックマーク / 転載問題 「無駄に長い」記事こそ圧縮してくれるツールはないんでしょうか…ぱわー ＃「無駄に長い」記事こそ圧縮してくれる「機械要約ツール」は前に興味があって、メモが残っていた。 YappoLogs: Lingua::JA::Summarize::Extract - 日本語文章のサマリ抽出 - Perl プログラムによる要約は、たいてい ChaSen, MeCab, などの面倒な処理（形態素解析）が入ったりするが、Lingua::JA::Summarize::Extract は、辞書ファイルが必要なくて、お手軽に使うことができる。まさに Hack（大雑把だが要領の良い仕事）という感じ。 Lingua::JA::Summarize::Extract の CGI ht