4. 多項分布とディリクレ分布 多項分布：サイコロの出た目の分布 サイコロを振る回数 N (= K面サイコロの目の出易さ p1 確率 p2 確率 K 確率 PK k=1 nk ) K面サイコロの出た目 確率質量関数 n1 n2 Multi(n|p, N ) = PK K (( k=1 nk ) + 1) Y nk pk QK (nk + 1) k=1 k=1 pK ※ N 6= PK k=1 nk のときは0 K 回 回 nK 回 ※nは自然数 ディリクレ分布：サイコロの目の出易さの分布 K面サイコロの目の出易さ K面サイコロの出た目 ↵1 ↵2 K ↵K 1 1 回 回 1回 ※αは自然数でなくてもよい 確率密度関数 p1 確率 p2 確率 Dir(p|↵) = PK K ( k=1 ↵k ) Y ↵k pk QK (↵k ) k=1 k=1 1 K 確率 pK !4 5. 備考 m •

2. トピックモデルのアウトプット 言葉 トピック 言葉 文書 （または顧客） トピックの定義 ぞれぞれのトピックに対してどうい う言葉が大事 トピック 文書 （または顧客） トピックの割合 それぞれのユーザに ついて、どういうトピッ クが大事 2 3. 履歴の概要 ●LSA (1988) フレームワーク：線型代数学 （マトリクス対角化） 文書 出典: http://en.wikipedia.org/wiki/Latent_semantic_analysis 言葉 ・問題： アウトプットは使いにくい 3 4. 履歴の概要 ●PLSA (1999) 確率理論のフレームワーク 文書 トピック 言葉 出典: http://en.wikipedia.org/wiki/PLSA 言葉数 文書数 ・モデル学習： EMアルゴリズム ・問題： 過剰適合が多い （特に文書群が小さい場合） 4 5. 履歴の概