パターン認識と機械学習の学習－ベイズ理論に挫折しないための数学 （光成 滋生 著）

■まえがき

　サイボウズ・ラボでは「言語処理に必要そうな機械学習の基礎知識を身につける」という目標のもと，2011年の2月から11月にかけて当時シュプリンガー・ジャパン（現在は丸善）から出版されていた「パターン認識と機械学習」（PRML）を輪読する社内読書会をやっていました． 「あの本」を10ヶ月足らずで一通り（すべての章ではありませんが）読みきったと言えば，そのスパルタな様子が想像つくのではないでしょうか．しかも，専門の学生ではない社会人が仕事の合間に！ 当然スムーズに読み進めるはずもなく，いろんなところでつまずくことになりました．一つには機械学習の考え方に慣れてなかったという部分がもちろんあげられますが，まさにそれを身につけるために読んでいるわけですから，そこはしかたありません． そしてそれ以上に参加メンバーが四苦八苦したのは，やはり「計算」でした． たとえばPRMLの2章ではベクトルや行列による偏微分という大技がいきなり炸裂しますし，行列の固有値は常識中の常識，積分の変数変換なんかはもう当然知ってるもの．そして全編に渡ってLagrangeの未定乗数法という謎の魔法に支配されている……． 数学科出身の約2名から「そこはなんでそんな計算になるの？　明らかにおかしいよね？」と突っ込まれながらPRMLの要所要所が省略された数式を追いかけるという経験は，世の中は「数学ガール」のようには行かないということをきっと教えてくれたことでしょう．
　さて． そんなメンバーの助けにと，同じく読書会に参加していた同僚の光成さん（@herumiさん）が，PRMLのアンチョコ（教科書ガイド）を作ってくれました． それらは https://github.com/herumi/prml/ のサイトでCC-BY 3.0（クリエイティブ・コモンズ 表示 3.0 非移植）のライセンスで公開されています．
　このアンチョコは，PRML前半のキーポイントである2章から4章まで，そして後半の難関である9章と10章をカバーしています．出てくる数式を手抜き無しのガチンコで展開しつつ， それらを理解するのに必要な数学の道具（積分の変数変換，行列の各種操作）なども平行して解説するという作りになっています． 線形代数と解析をまともにやったのは大学の教養課程が最後という三十路の技術者（数学をもっとちゃんとやっておけば良かった！）にはもちろん，現役の学生さんにとっても，このアンチョコはなかなか役に立つでしょう．
　こんな親切に説明されたら自分で考えなくなってしまうんじゃあないかと逆に不安になる，という方は一回目はアンチョコを写経して，次は見ずに自力で計算してみる，というのがおすすめ．
　このアンチョコで挫折しないPRMLライフを楽しんでくださいね！

……と，普通ならここで話は終わるはずだったのですが，サイボウズ・ラボには竹迫さんという，いつも超本気で冗談をする人がいまして， いつのまにかこのPRMLアンチョコがPRMLによく似た装丁の同人誌（本物のISBNコード付き!）になっていたんです．といっても，いきなり何千冊も刷るなんて冒険はさすがにできなくて，言語処理学会での宣伝用に見本誌を数部作っただけでした． が，これが各方面で思いのほか評判を呼び，本格的にまとまった部数作ろうじゃあないかという話になり，あれよあれよと，この「パターン認識と機械学習の学習」がこんな立派な形で今読んでいらっしゃるみなさんのお手元に届くことになりました．
　というわけで社内読書会の言い出しっぺとして拙い序文を書かせていただきました． 最後に，厳しい読書会について来てくれたサイボウズ・ラボの同僚と，大元のPRML読書会を主催してくださったnaoya_tさんおよび参加者のみなさんに感謝を捧げます．

社内PRML読書会 主宰 ： 中谷 秀洋 （サイボウズ・ラボ）

著者より

　本書は『パターン認識と機械学習』（以下PRML）を理解するために必要な数学をまとめてみたものです. いくつかの定理は証明せずに認めますが, 可能な限りself-containedであることを目指してみました. 概ねPRMLに従ってますが, 違う方法をとっているところもあります. 間違い, 質問などございましたら, [email protected] または TwitterID:@herumi までご連絡ください.

著者 ： 光成 滋生 （サイボウズ・ラボ）

■在庫状況

2012年7月2日（月）～7月8日（日）調べ： ジュンク堂書店 池袋本店（総合ベストセラー　第1位）
2012年7月2日（月）～7月8日（日）調べ： ジュンク堂書店 池袋本店（コンピュータ書 ランキング第1位）

ジュンク堂書店（取り扱い店舗）

※ 12/06/06:ジュンク堂吉祥寺店（暗黒通信団コーナー）への行き方

■ジュンク堂書店池袋本店で見かけた店頭ポップ

入荷情報

2012年7月3日(火) ジュンク堂書店 池袋本店（100冊 入荷情報あり）
2012年7月8日(日) ジュンク堂書店 池袋本店（在庫切れ）
2012年7月9日(月) ジュンク堂書店 池袋本店（120冊 再入荷）
2012年7月31日(火) 第2刷 増刷分 入荷

この商品を買った人はこんな商品も買っています

全国の目撃談

• 2012年7月11日(水) @tetsu5902様：機械学習の学習ゲト．天満橋ジュンク堂は（少なくとも棚には）残りあと一冊
• 2012年7月12日(木) @yuki_neko_nyan様：PRMLの学習が神保町三省堂にもおかれており歓喜した
• 2012年7月12日(木) @yoshifuji_tokyo様：今日寄った東京駅の丸善オアゾ店にも在庫ありました。 “@CybernationLife: 『パターン認識と機械学習の学習』、きちんと池袋のジュンク堂に在庫ありました。( ´ ▽ ` )ﾉ http://twitpic.com/a61bn3 ”
• ?2012年7月12日(木) @seibunkan_3F様：西田賢司『わっ！ヘンな虫』（徳間書店）、光成滋生『パターン認識と機械学習の学習』（暗黒通信団）　入荷しました。精文館書店 本店3Ｆ（愛知県豊橋市）
• 2012年7月16日(月) @naox_toku様：茨城県つくば市吾妻「友朋堂書店　吾妻店」（π本とPRML学習本を追加検討）

■書店での注文方法

ISBNのついている本は、原理的にはどこの書店でも注文できる。大学生協からでもOKだ。店員に「（ISBN）978-4-87310-166-8（書名）『パターン認識と機械学習の学習』を○○冊お願いします。『地方小出版流通センター』取り扱いの本です」というと処理がスムーズに進む。出版社のところには（恥ずかしいのを堪えて）「暗黒通信団」と指定しよう。

参考：同人誌の入手方法 :暗黒通信団

通信販売

• 丸善＆ジュンク堂書店「パターン認識と機械学習の学習」ネットストア（送料無料）
• Amazon.co.jp（在庫あり）
• 楽天（午前中の注文で当日発送）

暗黒通信団とは

• 暗黒通信団の公式Webサイト ～The Darkside Communication Group～
• 暗黒通信団が書いた円周率の本買ったｗｗｗｗｗｗｗｗｗｗ : ハムスター速報

■イベント情報

• 2012/07/15(日)「パターン認識と機械学習の学習」読書カラオケ（ベイズ理論に挫折しないためのカラオケ） ※読者有志によるイベントです

コミックマーケット

Ｃ８２当選！日東Ｕ２５ｂです

• 2012/08/12(日)「パターン認識と機械学習の学習」完売しました

■正誤表

準備中

■目次

第 1 章 「序論」のための確率用語 ※ 新規追加
1.1 確率変数は変数なのか  . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.1 確率空間 (Ω, F, P) . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.2 σ 加法族 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.3 確率変数 X  . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.4 確率変数は写像である . . . . . .  . . . . . . . . . . . . . . . . . 9

第 2 章 「確率分布」のための数学
2.1 微積分の復習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1 変数変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.2 奇関数の積分 . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.3 exp(-x^2) の積分 . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.4 ガウス分布の積分 . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 線形代数の復習 . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.1 行列の積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.2 トレース . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.3 行列式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.4 行列の種類 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.5 ブロック行列の逆行列 . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.6 三角化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.7 対称行列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.8 2 次形式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.9 多変量ガウス分布 . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.10 行列の微分  . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.11 ガウス分布の最尤推定  . . . . . . . . . . . . . . . . . . . . . . 24

第 3 章 「線形回帰モデル」のための数学
3.1 最小二乗法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.1 微分の復習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.2 誤差関数の最小化 . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.3 正射影 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.4 行列での微分 . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.5 Woodbury の逆行列の公式  . . . . . . . . . . . . . . . . . . . . . 29
3.1.6 正定値対称行列 . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.1.7 予測分布の分散 . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.1.8 カルバック距離 . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.1.9 エビデンス関数の評価の式変形 . . . . . . . . . . . . . . . . . . . 32
3.1.10 ヘッセ行列  . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.1.11 エビデンス関数の最大化の式変形  . . . . . . . . . . . . . . . . . 33
3.1.12 パラメータの関係  . . . . . . . . . . . . . . . . . . . . . . . . 34

第 4 章 「線形識別モデル」のための数学
4.1 クラス分類問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2 行列の微分の復習 . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.3 多クラス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.4 分類における最小二乗 . . . . . . . . . . . . . . . . . . . . . . . . 39
4.5 フィッシャーの線形判別 . . . . . . . . . . . . . . . . . . . . . . . 40
4.6 最小二乗との関連 . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.7 確率的生成モデル . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.8 連続値入力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.9 最尤解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.10 ロジスティック回帰  . . . . . . . . . . . . . . . . . . . . . . . . 46
4.11 反復再重み付け最小二乗  . . . . . . . . . . . . . . . . . . . . . . 47
4.12 Jensen の不等式 . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.13 多クラスロジスティック回帰  . . . . . . . . . . . . . . . . . . . . 50
4.14 プロビット回帰  . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.15 正準連結関数  . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.16 ラプラス近似  . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.17 モデルの比較と BIC  . . . . . . . . . . . . . . . . . . . . . . . . 54
4.18 ディラックのデルタ関数  . . . . . . . . . . . . . . . . . . . . . . 55
4.19 ロジスティックシグモイド関数とプロビット関数の逆関数  . . . . . . . 56
4.20 ベイズロジスティック回帰  . . . . . . . . . . . . . . . . . . . . . 58

第 9 章 「混合モデルと EM」の数式の補足
9.1 復習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
9.1.1 行列の公式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
9.1.2 微分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
9.1.3 ガウス分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
9.2 混合ガウス分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
9.3 混合ガウス分布の EM アルゴリズム . . . . . . . . . . . . . . . . . . 63
9.4 混合ガウス分布再訪 . . . . . . . . . . . . . . . . . . . . . . . . . 64
9.5 K-means との関連 . . . . . . . . . . . . . . . . . . . . . . . . . . 66
9.6 混合ベルヌーイ分布 . . . . . . . . . . . . . . . . . . . . . . . . . 66
9.7 ベイズ線形回帰に関する EM アルゴリズム . . . . . . . . . . . . . . . 69
9.8 一般の EM アルゴリズム . . . . . . . . . . . . . . . . . . . . . . . 70
9.9 混合ガウス分布のオンライン版 EM アルゴリズム . . . . . . . . . . . . 71

第 10 章 「近似推論法」の数式の補足
10.1 この章でよく使われる公式  . . . . . . . . . . . . . . . . . . . . . 73
10.1.1 ガンマ関数  . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
10.1.2 ディリクレ分布  . . . . . . . . . . . . . . . . . . . . . . . . . 73
10.1.3 ガンマ分布  . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
10.1.4 正規分布  . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
10.1.5 スチューデントの t 分布 . . . . . . . . . . . . . . . . . . . . . 74
10.1.6 ウィシャート分布  . . . . . . . . . . . . . . . . . . . . . . . . 74
10.1.7 行列の公式  . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
10.1.8 カルバック距離  . . . . . . . . . . . . . . . . . . . . . . . . . 75
10.2 下限と下界  . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
10.3 分解による近似の持つ性質  . . . . . . . . . . . . . . . . . . . . . 75
10.4 α ダイバージェンス . . . . . . . . . . . . . . . . . . . . . . . . 77
10.5 例：一変数ガウス分布  . . . . . . . . . . . . . . . . . . . . . . . 77
10.6 モデル比較  . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
10.6.1 変分混合ガウス分布  . . . . . . . . . . . . . . . . . . . . . . . 80
10.6.2 変分事後分布  . . . . . . . . . . . . . . . . . . . . . . . . . . 80
10.7 変分下限  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
10.8 予測分布  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

第 11 章 「サンプリング法」のための物理学 ※特別書下ろし！（特別寄稿：川合 秀実）
11.1 「11.5.1 力学系」のところを違う方法で説明する試み . . . . . . . . . 91
11.1.1 統計力学  . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
11.1.2 ボルツマン因子  . . . . . . . . . . . . . . . . . . . . . . . . . 91
11.1.3 ポテンシャルエネルギー  . . . . . . . . . . . . . . . . . . . . . 93
11.1.4 サンプリングへの応用  . . . . . . . . . . . . . . . . . . . . . . 93
11.1.5 注意点  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
11.1.6 余談  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
11.1.7 Verlet 法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

■書評

1. 2012/07/05(木)：パターン認識と機械学習の学習 ベイズ理論に挫折しないための数学 | 地方・小扱い書誌近刊☆新刊案内
2. 2012/07/11(水)：地方・小出版流通センター通信　ＮＯ．１２７５（リアル書店で初版は完売となりそう）
3. 2012/07/15(日)：これで PRML も怖くない！「パターン認識と機械学習の学習」 - あらびき日記

Twitter

• Twitterリアルタイム検索「パターン認識と機械学習の学習」
• Twitterリアルタイム検索「暗黒通信団」