PFIセミナーで生成語彙論についてDeep Learningの文脈で話をしました

PFIセミナーで生成語彙論についてDeep Learningの文脈で話をしました

先週のPFIセミナーで生成語彙論とDeep Learning（特に表現学習の領域）の関係について、思っていること...概要を表示 先週のPFIセミナーで生成語彙論とDeep Learning（特に表現学習の領域）の関係について、思っていることを話しました。前半は生成語彙論の入門的な内容で、数式もなくてだれでも読めるような内容になっていると思います。生成語彙論の勉強を始めたのが最近なので、入門という程の内容にもなってないですが、こうした言語学の知見をもう一度紐解くと面白いかもしれません。 発表中にあまりちゃんと話さなかったことをちょっと書いておきます。2012年あたりから、Socherが既存のNLPタスクにバシバシ一連の手法を試していました。私もその辺りで初めて深層学習の話を聞いたわけですが、ちょうど構文解析をnon-terminalのところで表現ベクトルを使うという話がありました。これに対して、「素性構造のような複雑な構造と演算を、ベクトル空間と非線形関数の中に埋め込んでいることになるのでは」という感想を、宮尾さん（

• NLP
• deep learning
• 機械学習