PRML復々習レーン#3に参加して発表しました

PRML

PRML復々習レーン#3に参加して発表しました．会場係と会場を提供してくださった@showyouさんとDeNAさんに感謝申し上げます．毎度ながら素晴らしい会場，そして素晴らしい景色．

今回から新しい試みで前回の復習内容をまとめてみることにしてみた．いちsubsectionを1枚程度にまとめて，「よーするに」というポイントをまとめてみたもの．資料をまとめて喋ってみてはじめて気が付くことがあったので次回もぜひやってみたい．

発表資料は以下のとおり

前回までのあらすじ

PRML復々習レーン#3 前回までのあらすじ
View more presentations from sleepy_yoshi

3.1.3-3.1.5 (代打)

PRML復々習レーン#3 3.1.3-3.1.5
View more presentations from sleepy_yoshi

日程の都合で今回参加できない方の代打で発表．内容はわかっているつもりだったけれど資料にまとめてみると意外と時間がかかった．

  • 逐次推定
  • 正則化最小二乗法
  • 出力変数が多次元の場合

の3つのサブセクションだけれど，最初の2つがメイン．パワポ資料も適当なので，ホワイトボードを使いながら損失関数と正則化関数を足し合わせたもののイメージを伝えてみた．

なお，確率的勾配降下法は誤差関数の勾配が0になる根をRobbins-Monroアルゴリズムの枠組みで求める，という解釈をしていたのだけれどイマイチ自信がないので後でこっそりフォローする予定．

他にも以下のような質疑や議論が出てきた．部分的にでも次回のおさらい資料でフォローできるようにしたい．(といいつつ，前回の宿題もスルーしているのは秘密)

  • ノンパラメトリック推定におけるハイパーパラメータの推定方法
    • 密度推定におけるカーネル密度法のカーネルパラメータや，k近傍法のkはどうやって決める?
  • ヒストグラム，カーネル密度推定法，k近傍法以外に定番の密度推定法はあるのか．
  • p.124 k-NN分類ではN->∞の極限で誤分類率が最小誤分類率のたかだか2倍になる
  • p.137 tanhを使う理由．なんでここで?
  • p.149 図3.5 の結果はノイズには無関係である理由
  • bagging はバリアンスを小さくするか
    • SVMではあまり効果がなかった理由

それにしても，やっぱり復々習レーンは参加者のレベルが高い気がする．さすがに4周目はないと思うので (あったとしても参加しない気がするので) ，新しいことを吸収できるようにがんばりたい．

帰りに渋谷のBook 1stに寄って「パターン認識と機械学習の学習」をついにゲット! 残り4冊あったので保存用，観賞用，布教用に3冊購入．今年は紙と鉛筆の時間を増やそうと宣言していたくせに最近時間を取れていないので，今一度集中せねば．