自然言語解析 in MONMO（中編） - 中年engineerの独り言 - crumbjp

自然言語解析 in MONMO（中編） - 中年engineerの独り言 - crumbjp

一連の自然言語処理をMONMOちゃん上で実現する試みの第２弾 前回は形態素解析まで行った。 今回は、形態...概要を表示 一連の自然言語処理をMONMOちゃん上で実現する試みの第２弾 前回は形態素解析まで行った。 今回は、形態素解析結果から、そのドキュメントの特徴を表す『ベクトル』を算出する、ベクタライズを行う。 monmo-NLProcessing github https://github.com/monmo/monmo-NLProcessing TF-IDF 自然言語処理における代表的なベクタライズ手法。 考え方 ドキュメント中、何回も出現する単語はそのドキュメントを表す重要な単語である。 多くのドキュメント中に出現する単語は普遍的な単語なので重要ではない。 シンプルだ。 TF-IDFの要素 N 総ドキュメント数 TF[a] ある単語（a）がその１ドキュメント中に現れた回数 DF[a] ある単語が現れたドキュメント数 IDF[a] log( N / DF[a] ) TF-IDF[a] TF[a] x I

• tech