数式を使わずイメージで理解するEMアルゴリズム

数式を使わずイメージで理解するEMアルゴリズム

• 1.
  数式を使わず イメージで理解する EMアルゴリズム @yag_ays 参考：「パターン認識と機械学習」下巻9章 Machine Learning AdventCalendar 2013
• 2.
  この図は対数尤度関数とパラメータの関係を おおまかにプロットしたものです ln p(X|✓) （PRML 図9.14参考） ✓
• 3.
  横軸は最適化したいパラメータ 縦軸は最大化したい対数尤度関数の値になっています ln p(X|✓) 対数尤度関数 パラメータ ✓
• 4.
  EMアルゴリズムの目的は対数尤度関数が最大値に なるときのパラメータを求めることです ln p(X|✓) ✓
• 5.
  ただし対数尤度関数を直接最大化することはできません （解析的に求まらない・下図のような形がわからない） ln p(X|✓) ✓
• 6.
  それではEMアルゴリズムで 対数尤度関数を最大化しましょう ln p(X|✓) ✓
• 7.
  まずパラメータの初期値を適当に決めます ln p(X|✓) ✓ ✓
• 8.
  Eステップでは現在のパラメータ値での下界を計算します 青の点線が下界を表しています ln p(X|✓) Eステップ L(q, ✓) ✓ ✓
• 9.
  Mステップで下界を最大化するパラメータを新たに求めます つまり点線の最大値のところにパラメータをずらします ln p(X|✓) Mステップ L(q, ✓) ✓✓ 0 ✓
• 10.
  あとは同様にEステップとMステップを繰り返します ln p(X|✓) ✓ ✓ 0 ✓
• 11.
  あとは同様にEステップとMステップを繰り返します ln p(X|✓) Eステップ 0 L(q, ✓) ✓ ✓ 0 ✓
• 12.
  あとは同様にEステップとMステップを繰り返します ln p(X|✓) Mステップ 0 L(q, ✓) ✓ ✓ 0 ✓ 00 ✓
• 13.
  ある程度パラメータや対数尤度値が収束すれば EMアルゴリズムは終了です ln p(X|✓) ✓ ✓ 0 ✓ 00 ✓
• 14.
  これで対数尤度関数を最大にするパラメータが 求められました！ ln p(X|✓) ✓ ✓ 0 ✓ 00 ✓