![9.3.1 混合ガウス分布再訪
ポイントだよ
完全データに対する対数尤度と
不完全データに対する対数尤度を見比べる
•
完全データ対数尤度
𝑁
𝐾
ln 𝑝 𝑿, 𝒁 𝝁, 𝚺, 𝝅 =
𝑧 𝑛𝑘 ln 𝜋 𝑘 + ln 𝒩 𝒙 𝑛 𝝁 𝑘 , 𝚺 𝑘
𝑛=1 𝑘=1
•
不完全データ対数尤度 (完全データ対数尤度関数の期待値)
𝑁
𝐾
𝔼 𝒁 [ln 𝑝 𝑿, 𝒁 𝝁, 𝚺, 𝝅 ] =
𝛾 𝑧 𝑛𝑘 ln 𝜋 𝑘 + ln 𝒩 𝒙 𝑛 𝝁 𝑘 , 𝚺 𝑘
𝑛=1 𝑘=1
演習9.5
𝜋
事後分布のもとで{𝑧 𝑛 }が独立を示す
𝝁
プレート表現
を展開
𝑧1
𝑧2
…
𝑧𝑛
…
𝒙1
𝒙2
𝚺
マルコフブランケットが観測されて
いるので各𝑧 𝑛 は条件付き独立
15
𝒙𝑛](https://image.slidesharecdn.com/20131109prmlrerevenge14reviewpublish-131109093655-phpapp01/85/PRML-15-15-320.jpg)
PRML復々習レーン#15 前回までのあらすじ
- 2. 前回のおさらい • 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る – 「よーするに」な内容 • 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください • 目的 ポイントだよ ポイントだよ ポイント小僧の向きに意味はありません – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため 2
- 3. 前回の範囲 • 9章 混合モデルとEM – 9.1 K-means クラスタリング • 9.1.1 画像分割と画像圧縮 – 9.2 混合ガウス分布 (Mixture of Gaussians) 前回の範囲 • 9.2.1 最尤推定 • 9.2.2 混合ガウス分布のEMアルゴリズム – 9.3 EMアルゴリズムのもう一つの解釈 • • • • 9.3.1 混合ガウス分布再訪 9.3.2 K-means との関連 9.3.3 混合ベルヌーイ分布 9.3.4 ベイズ線形回帰に関するEMアルゴリズム – 9.4 一般のEMアルゴリズム 3
- 5. 9 混合モデルとEM ポイントだよ 観測変数と潜在変数の同時分布を定義することにより 単純な分布から複雑な分布を構成することが可能になる (混合モデル) その際，最尤推定に (一般的に) 利用されるのがEMアルゴリズム • 混合ガウスの例 – 観測データはいずれかのガウス分布から生成される と仮定 5
- 7. 9.1 K-means クラスタリング ポイントだよ 収束するまで以下の2ステップを繰り返すクラスタリング手法 (1) データ点のクラスタへの再割り当て (Eステップに相当) (2) クラスタ平均の再計算 (Mステップに相当) • 以下の損失関数を最小化する割り当て𝑟 𝑛𝑘 ∈ 0, 1 と，クラスタ平均𝝁 𝑘 を求めている 𝑁 𝐾 𝐽= 𝑟 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘 2 2 𝑛=1 𝑘=1 • 非凸であるため，大域的最適解の保証はないが，局所最適解への収束保証はあり (初期値によって解 が変わる) 7 #iteration
- 8. 9.1.1 画像分割と画像圧縮 ポイントだよ 各画素をデータ点とみなしてクラスタリングし， 同一クラスタに対して同じ色をアサインすることで 画像圧縮を実現できる • 画素をRGBの3次元空間のデータ点と解釈して，K-meansクラスタリングを 実行した例 – クラスタの平均値を利用して色を表現 – ベクトル量子化とも呼ばれる枠組み 8
- 9. 9.2混合ガウス分布 (Mixture of Gaussians) ※ どうでもいいがなぜこれだけ英訳つき? Gaussian Mixture Model (GMM) という呼び方の方が 9 よく見かける気も…
- 10. 9.2 混合ガウス分布 ポイントだよ ガウス分布の線形重ねあわせで混合ガウス分布を表現する 潜在変数を用意し，データを観測した際の負担率を計算する • 𝑝 𝒙 = 𝒛 𝑝 𝒛 𝑝 𝑥 𝒛 = 𝐾 𝑘=1 𝜋 𝑘 𝒩 𝒙 𝝁 𝑘, 𝚺 𝑘 • ベイズの定理より潜在変数の事後確率は以下の形で計算できる 𝛾 𝑧 𝑘𝑛 ≡ 𝑝 𝑧 𝑘 = 1 𝒙 𝑛 = = 𝑝 𝑧𝑘 = 1 𝑝 𝒙𝑛 𝑧𝑘 = 1 𝐾 𝑗=1 𝑝 𝑧𝑗 = 1 𝑝 𝒙 𝑛 𝑧𝑗 = 1 𝜋 𝑘 𝒩 𝒙 𝑛 𝝁 𝑘, 𝚺 𝑘 𝐾 𝑗=1 𝜋𝑗 𝒩 𝒙 𝑛 𝝁 𝑗, 𝚺𝑗 – ここで 𝛾(𝑧 𝑘𝑛 )を混合要素𝑘がデータ𝑛を「説明する」度合いを表 す負担率と呼ぶ 10
- 11. 9.2.1 最尤推定 ポイントだよ 混合ガウス分布を最尤推定する…際の注意点 • 各データ点が独立に生成されたと仮定すると，対数尤度関数は以下のように表 せる 𝑁 ln 𝑝 𝑿 𝝅, 𝝁, 𝚺 = 𝐾 ln 𝑛=1 • 𝑘=1 あるデータ点と等しい平均パラメータを持つガウス分布の尤度関数は以下の形 になる 𝒩 𝒙 𝑛 𝒙 𝑛, 𝜎2 𝐼 = • 𝜋 𝑘 𝒩 𝒙 𝑛 𝝁 𝑘, 𝚺 𝑘 1 1 2𝜋 1/2 𝜎𝑗 ここで𝜎𝑗 → 0 で尤度は無限に発散してしまう – ベイズ的アプローチやヒューリスティクスで避けられる 11
- 12. 9.2.2 混合ガウス分布のEMアルゴリズム ポイントだよ 以下の2ステップを繰り返す (1) 現在のパラメータにおいて負担率を計算， (2) 計算した負担率にしたがって新しいパラメータを計算 • Eステップ – • 𝛾 𝑧 𝑛𝑘 = 𝜋𝑘 𝐾 𝑗=1 𝒩 𝑥 𝑛 𝝁 𝑘 ,𝚺 𝑘 𝜋 𝑗 𝒩 𝑥 𝑛 𝝁 𝑗 ,𝚺 𝑗 Mステップ – 𝝁new = 𝑘 1 𝑁𝑘 𝑁 𝑛=1 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 – 𝚺 new = 𝑘 1 𝑁𝑘 𝑁 𝑛=1 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 − 𝝁new 𝑘 𝒙 𝑛 − 𝝁new 𝑘 𝑇 𝑁 – 𝜋 new = 𝑘 𝑘 𝑁 – ただし，𝑁 𝑘 = 𝑁 𝑛=1 𝛾 𝑧 𝑛𝑘 負担率に無視すれば，通常のガウス分布の最尤推定と 同じ形をしていることに注目 12
- 14. 9.3 EMアルゴリズムのもう一つの解釈 ポイントだよ 一般のEMアルゴリズムについて考える ※ 完全データ集合における対数尤度の最大化は 容易であるという仮定をおく • 潜在変数を持つモデルの対数尤度を考える – ln 𝑝 𝑿 𝜽 = ln 𝒛 𝑃 𝑿, 𝒁 𝜽 – 総和が対数の中にあるため，計算が困難 • 指数型分布族を考えると log exp となる • そこで 𝑿, 𝒁 という完全データ集合に対する対数尤度ln 𝑝 𝑿, 𝒁 𝜽 を考え，Zに関する期待値を最大化する – 𝒬 𝜽, 𝜽 𝑜𝑙𝑑 = 𝒁 𝑝 𝒁 𝑿, 𝜽 𝑜𝑙𝑑 ln 𝑝 𝑿, 𝒁 𝜽 – 𝜽 𝑛𝑒𝑤 = argmax 𝜽 𝒬 𝜽, 𝜽 𝑜𝑙𝑑 14
- 15. 9.3.1 混合ガウス分布再訪 ポイントだよ 完全データに対する対数尤度と 不完全データに対する対数尤度を見比べる • 完全データ対数尤度 𝑁 𝐾 ln 𝑝 𝑿, 𝒁 𝝁, 𝚺, 𝝅 = 𝑧 𝑛𝑘 ln 𝜋 𝑘 + ln 𝒩 𝒙 𝑛 𝝁 𝑘 , 𝚺 𝑘 𝑛=1 𝑘=1 • 不完全データ対数尤度 (完全データ対数尤度関数の期待値) 𝑁 𝐾 𝔼 𝒁 [ln 𝑝 𝑿, 𝒁 𝝁, 𝚺, 𝝅 ] = 𝛾 𝑧 𝑛𝑘 ln 𝜋 𝑘 + ln 𝒩 𝒙 𝑛 𝝁 𝑘 , 𝚺 𝑘 𝑛=1 𝑘=1 演習9.5 𝜋 事後分布のもとで{𝑧 𝑛 }が独立を示す 𝝁 プレート表現 を展開 𝑧1 𝑧2 … 𝑧𝑛 … 𝒙1 𝒙2 𝚺 マルコフブランケットが観測されて いるので各𝑧 𝑛 は条件付き独立 15 𝒙𝑛