@nokunoさん主催の自然言語処理勉強会@東京で「統計的係り受け解析入門」というタイトルで話をしてきました．資料はこちらにおいておきます．CKYアルゴリズムに関して質問が多かったので，説明を加筆しました．
内容は「入門」と銘打っておきながら，3rd order Eisnerまで紹介するアレな内容．どういう方が出席されるかわからなかったので，ちょっと最新の話題も入れてみたかったのでした．もともと社内セミナーで使った資料を半分流用しています．
Eisner法の理解の肝は，三角と台形がCFGにおける非終端記号に相当している，三角が三角と台形に分割されるというルールが，CFGにおける書き換え規則に相当している，という点が理解できれば後はCFGの知識で理解できます．この記法に慣れてくると，例えば3rd orderの論文はほとんど図を見るだけで理解できます :)
割愛しましたが，本当はこのあとスコアをどうやって学習するかという話しに行きます．log-linearにして，微分するとinside-outsideがでてきたり，周辺確率がinsideとoutsideの積で求まったりします．当然logsumexpもつかいますし，動的計画法のオンパレードです．
学会と違って，企業の方が多かったのもありますが，どうやって応用するのかという議論がいたるところでなされました．これは非常に良いことだと思います．学術的には興味を誘わない話題，特に強調した分野適応や辞書リソースの効率的な構築法などは応用上きわめて重要だと考えています．学生時代分野適応なんて，特許かWebデータに適応することだろくらいに高をくくっていましたが，実際には特定分野のお客様（例えば製造業，医療，法律，銀行）にいかに効率的に分野適応できるかが性能の鍵を握っています．こうした問題意識と研究テーマをもっと啓蒙していかないとと思っています．MeCab以来教師あり形態素解析が進んでいませんが，こうした部分でものすごく問題を抱えたまま放置されている気がします．まぁ，自分がやればいいんですけどね．
気合いの入ったすごい良い資料でEisner系アルゴリズムの理解が深まりました。どうもです。
返信削除引用に入ってなかっただけでご存知かなと思いますがEisnerアルゴリズムをCFGとしてとらえるのは私は以下の論文で勉強しました。
"Transforming Projective Bilexical Dependency Grammars into efficiently-parsable CFGs with Unfold-Fold", M. Johnson, ACL06
最近の係り受けの話ではEMNLP10でベストペーパーをとった以下の論文が気になります
Dual Decomposition for Parsing with Non-Projective Head Automata
ILPがexactで解け１文あたり数十msで解けていっきにILPが現実的になってきたような気がします（なにより実装が簡単そう）。ほかの構造学習にもいろいろ使えそうです。
分野適応、辞書リソース、そしてルールベースの手法に関しては私も非常に重要と思っています。ビジネス系の人に聞くとみんなやっているのに表にでてこないので、もっとノウハウを体系化して共有していく必要があると思っています。
はじめまして（自然言語処理勉強会@東京に参加していません）、資料いただきました。勉強させていただきます。
返信削除どうでもいいことですが、Mac OS XのPDFビューアに資料を放り込むとクラッシュします。MacはOS側にPDFビューアがついているので、いたるところでクラッシュがおきます。Macのバグかも知れませんが、ご一報いたします。
>hillbigさん
返信削除情報どうもありがとうございます。Sandra Kublerの教科書にCFGからEisnerまで変形させる話が載ってるんですが、これですね。論文のほうは知らなかったです。記号として三角とかが最初に出てきたのはこれ？
EMNLP2010のベストペーパーは、昨日shuyoさんの発表で聞いて、あわてて読んでます。20msとか・・・。
ビジネス系の～というのは、同意しますね。こないだのYANSで、工藤さんたちとしゃべっていたときも、同じような感覚を受けました。あの時していた、回帰テストの話なんかもそうですよね。こうした話題の周辺で、どういう問題があるのか整理したいところです。
> にーとさん
マジですか。明日、別の形でアップします。ご報告ありがとうございます。