渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

『標準ベイズ統計学』はベイズ統計学をきちんと基礎から日本語で学びたいという人にとって必携の一冊

書評 書籍 統計学 BUGS/Stan MCMC

標準 ベイズ統計学

標準 ベイズ統計学

  • 朝倉書店
Amazon

発刊当時に話題になっていた『標準ベイズ統計学』。実は訳者のお一人、菅澤翔之助さんからオフィス宛てでご恵贈いただいていたのですが、親父の没後処理やら自分のDVTやら実家の片付けやらで全く手が回らずオフィスに置いたままにしてしまっていたのでした。で、この度改めて拝読してみたら「何故もっと早く読まなかったんだ」と後悔するくらいあまりにも内容が素晴らしかったので、遅まきながら書評記事を書こうと思い立った次第です。


ベイズ統計学というと、殆ど詳しくない人だと「ベイズの定理以外に何があるの？」という印象ぐらいしかないかもしれませんし、一方でとりあえず技法としてやり方だけ覚えてしまった人だと「とりあえずMCMC回せばいいんだよね？」みたいな雑な理解になってしまうかもしれません。いずれにせよこれまで邦書ではベイズ統計学というと超初歩か実装重視かの二択が多かったせいか、「ゼロベースからきちんと学べる」良書に乏しかったという感がありました。


そこに満を持して登場したのが本書です。訳者まえがきにも「ベイズ統計学を学ぶにあたり重要なことは、その考え方の理解と計算アルゴリズムの実装」と謳われている通りで、ベイズ統計学に欠かせない概念である「信念」及びその表現である事前確率と事後確率の意味であったり、はたまた事後確率分布を得るための手法であるモンテカルロ近似・MCMCについての解説がこれでもかと懇切丁寧に綴られており、半可通だった僕にとっては「ああこれがベイズ統計学というものだったのか……」と唸らされること頻りでした。


ということで、早速本書の内容を簡単に紹介していこうと思います。なお、本書では随所で頻度主義統計学との対比がなされているため、古典的な頻度論を既に学んでいることが大前提だと思った方が良いです。少なくとも東大出版会赤本＆青本ぐらいは読んでおくべきかもしれません。

本書の内容


いつも通り、完全引用にならない範囲で本書の内容をレビューしていきます。割と章立てが多いので、節レベルでは分けずに章ごとにまとめてあります。

1. 導入と例

　1.1 導入
　1.2 なぜベイズか
　　1.2.1 稀な事象の確率の推定
　　1.2.2 予測モデルの構成
　1.3 本書の構成
　1.4 補足と文献案内

文字通りイントロダクションに当たる章で、2つ例を挙げてベイズ統計学の有用性が論じられています。まず1つ目では、古典的な例としてある小さな町における感染症の有病率を小サイズ標本から推定し、自治当局として町民へのワクチン接種を推奨すべきか否かを決定するという話が出てきます。なおここでいきなり頻度論における信頼区間とベイズ信用区間との対比の議論が出てきており、なかなかに面白いです（笑）。


2つ目の例は予測モデルの話題で、糖尿病の進行度を様々な検査数値からなる説明変数に基づいて回帰・予測するという取り組みをベイズ的にやったらどうなるかという話をしています。なおここで扱われているのはかなりスパースなデータであり、頻度論的なOLSで求められる偏回帰係数には不確実性が高いのにそれを評価する仕組みがない一方で、ベイズ偏回帰係数だとこれがゼロに落ちる確率も議論できるという点で有用だ、という議論の展開がされています。ちなみにここでもいきなりspike-and-slab事前分布によるベイジアンLassoの話題が出てきており、序盤からガンガン飛ばしていくぞという原著者Hoffの意気込みが見て取れますね。


このような展開になっているのはやはり次章に出てくる「信念」の取っ掛かりを作るためなのでしょう。つまり主観確率を扱うというベイズ統計学の特徴*1をより理解しやすくするための例をまず最初に挙げておこう、というのが恐らく原著者の狙いなのだと思われます。

2. 信念，確率，交換可能性

　2.1 信念関数と確率
　2.2 事象，分割，ベイズルール
　2.3 独立性
　2.4 確率変数
　　2.4.1 離散型確率変数
　　2.4.2 連続型確率変数
　　2.4.3 分布の特徴づけ
　2.5 同時分布
　2.6 独立な確率変数
　2.7 交換可能性
　2.8 デ・フィネッティの定理
　2.9 補足と文献案内

この章では前章で取り上げた「信念関数」と確率との関係を明らかにし、その上でベイズ統計学の様々な個々の概念を解説していきます。古典的な頻度論統計学の知識があれば難なく読みこなせるパートだと思いますが、そうでない人にはしんどいと思われます。というか、この本からいきなり統計学そのものの勉強を始めるのはクレイジーなので見合わせた方が良いです。なお個人的には交換可能性の話題とデ・フィネッティの定理はきちんと考えたことがなかったので*2勉強になりました……。

3. 二項モデルとポアソンモデル

　3.1 二項モデル
　　3.1.1 交換可能な二値データに対する推測
　　3.1.2 信頼領域
　3.2 ポアソンモデル
　　3.2.1 事後推測
　　3.2.2 例：出生率
　3.3 指数型分布族と共役事前分布
　3.4 補足と文献案内

3章では、まず手始めとして一つの未知パラメータにより定まる確率分布の代表として二項モデルとポアソンモデルを題材に取り、ベイズ推定（推測）をどのように行なっていくかを解説していきます。2つの分布の分かりやすさからついでに共役事前分布の概念の説明もなされており、さらにこの章からはRコードによる実践例も付されています。


ちなみにこの章で改めて頻度論的な信頼区間とベイズ信用区間との違いについての解説がなされています。p.47には

これ（ベイズ信用区間）は Y = yを観測した後に、 \thetaの真の値がどの位置にあるかという情報を表す区間であり、データが観測される「前に」（信頼）区間が真の値を被覆する確率を説明するような被覆確率の頻度論的解釈とは異なる。

（斜体字筆者）

とあり、同じページの後段では実際に Y = yを観測した後では頻度論的な信頼区間にパラメータが存在する確率が「0か1のどちらか」に帰着してしまう例が引かれています*3。これらの比較を通じて、本書ではベイズ信用区間がまさしく「信念の幅」を表現しているということを強調しているものと、僕は読み取りました。

4. モンテカルロ近似

　4.1 モンテカルロ法
　4.2 任意の関数に対する事後推測
　4.3 予測分布からのサンプリング
　4.4 事後予測分布によるモデルのチェック
　4.5 補足と文献案内

本書の面白いところがこの4章で、3章で折角分かりやすい二項モデルとポアソンモデルを取り扱ったにもかかわらず、いきなり「事後要約統計量を得ることが困難または不可能な複雑なケースのために」と言ってモンテカルロ近似による事後分布サンプリングの話題を持ち出してきます（笑）。当然ながらこれは後で取り上げるMCMCの導入になっています。勿論Rコードによる実践例も付されているので、簡単にその過程を学ぶことができます。

5. 正規モデル

　5.1 正規モデル
　5.2 分散所与の下での平均に関する推測
　5.3 平均と分散の同時推定
　5.4 バイアス，分散，平均二乗誤差
　5.5 期待値に基づく事前分布の特定
　5.6 非正規なデータに対する正規モデル
　5.7 補足と文献案内

ここでようやく基本的な正規モデル（つまり線形回帰モデル）の推定の話題が出てきます。ポイントとしては、3章で「単一パラメータで表現されるモデル」を扱ったのに対して、正規モデルでは当然ながら「2つ（以上）のパラメータで表現される」（即ち平均と分散）という違いがあり、その場合のモンテカルロサンプリングのやり方についても議論されています。


なおちょうど相性が良い話題でもあるせいか、この章では機械学習ではお馴染みのバイアス＝バリアンス分解の話題と、非正規なデータに対して正規モデルを当てはめた際の事後分布の歪みについての議論も取り上げられています。

6. ギブスサンプラーによる事後分布の近似

　6.1 準共役な事前分布
　6.2 離散近似
　6.3 条件付き分布からのサンプリング
　6.4 ギブスサンプリング
　6.5 ギブスサンプラーの一般的な性質
　6.6 MCMC の収束診断法
　6.7 補足と文献案内

いよいよこの章から本格的なMCMCの話題に入っていきます。まずはギブスサンプラーの実装と、その性質についての議論が展開されていきます。一般的なベイズ統計学のテキストではあまり触れられることのない、MCMCサンプルの収束に関する話題が懇切丁寧に書かれていて、個人的には勉強になりました。

7. 多変量正規モデル

　7.1 多変量正規分布の密度関数
　7.2 平均に関する準共役事前分布
　7.3 逆ウィシャート分布
　7.4 平均ベクトルと共分散行列のギブスサンプリング
　7.5 欠測データと代入法
　7.6 補足と文献案内

本書ではこれ以前の章においては全て単変量モデルを扱ってきており、ようやくこの章から多変量モデルの話題に入っていきます。そのため他の教科書では良く見るもののイマイチご利益のはっきりしなかった逆ウィシャート分布の解説が出てきたり、ついでと言っては何ですがここで欠測データに対するギブスサンプラーを用いた解決策の話題が紹介されていたりします。欠測データを「自然に」解決する手法というとこのブログの過去記事では状態空間モデルぐらいしか扱ったことがないのですが*4、そう言えば状態空間もベイズ推定の応用例の典型として語られることが多いのを考えると納得という感じです。

8. グループ比較と階層モデリング

　8.1 二つのグループを比較する
　8.2 複数のグループを比較する
　　8.2.1 交換可能性と階層モデル
　8.3 階層正規モデル
　　8.3.1 事後推論
　8.4 例：米国公立学校における数学試験
　　8.4.1 事前分布と事後近似
　　8.4.2 事後要約と縮小効果
　8.5 平均と分散の階層モデリング
　　8.5.1 数学試験データの分析
　8.6 補足と文献案内

いかにもベイズらしい統計モデルということで、階層ベイズモデルの話題が出てきます。ここでは階層ベイズ向けに組んだギブスサンプラーによってパラメータの事後分布をサンプルする話がメインです。

9. 線形回帰

　9.1 線形回帰モデル
　　9.1.1 酸素摂取量データに対する最小二乗推定
　9.2 回帰モデルにおけるベイズ推定
　　9.2.1 準共役事前分布
　　9.2.2 既定事前分布と弱情報事前分布
　9.3 モデル選択
　　9.3.1 ベイズ的なモデル比較
　　9.3.2 ギブスサンプリングとモデル平均
　9.4 補足と文献案内

意外かもしれませんが、本書ではここまで線形回帰モデルを扱ってきていないのでした。ということで、9章になってようやく線形回帰モデル（多変量が前提）の話題が取り上げられています。これまたちょっと意外と言えば意外ですが、ここでモデル選択の話題が出てきます。ベイズファクター*5やモデル平均の概念もこの章で解説されています。

10. 非共役事前分布とメトロポリス・ヘイスティングスアルゴリズム

　10.1 一般化線形モデル
　10.2 メトロポリスアルゴリズム
　10.3 ポアソン回帰に対するメトロポリスアルゴリズム
　10.4 メトロポリス，メトロポリス・ヘイスティングス，ギブス
　　10.4.1 メトロポリス・ヘイスティングスアルゴリズム
　　10.4.2 メトロポリス・ヘイスティングスアルゴリズムはなぜうまくいくのか
　10.5 メトロポリスとギブスの組み合わせ
　　10.5.1 相関した誤差をもつ回帰モデル
　　10.5.2 氷床コアデータの分析
　10.6 補足と文献案内

ここまでは共役or準共役事前分布を利用できる場合に限ってきたので、ギブスサンプラーで基本的にはどのパラメータも事後分布をサンプルできていたわけです。が、正規線形回帰モデル以外のGLMでは一般にそれができません。ということで、その解決策としてのメトロポリス・ヘイスティングスサンプラーのアルゴリズムとその実装並びにご利益、さらにギブスサンプラーとの併用の仕方を自己相関のある時系列データである氷床コアデータを題材に解説しています。

11. 線形・一般化線形混合効果モデル

　11.1 階層回帰モデル
　11.2 完全条件付き分布
　11.3 数学試験データの事後解析
　11.4 一般化線形混合効果モデル
　　11.4.1 メトロポリス・ギブスアルゴリズムによる事後分布の近似
　　11.4.2 腫瘍部位データの解析
　11.5 補足と文献案内

ここまでで全ての道具が揃ったということで、満を持してここでGLMMの話題が出てきます。題材として実験用マウスにおける腫瘍部位データの分析例が出てきますが、それ自体は単なる階層効果つきポアソン回帰モデルです。

12. 順序データに対する潜在変数法

　12.1 順序プロビット回帰と順位尤度
　　12.1.1 プロビット回帰
　　12.1.2 変換モデルと順位尤度
　12.2 正規コピュラモデル
　　12.2.1 順位尤度によるコピュラ推定
　12.3 補足と文献案内

最後の12章では、意外と他のテキストではあまりお目にかからない順序データに対するプロビット回帰を題材として、順位尤度やコピュラモデルさらには従属グラフといった概念が解説されています。この辺は僕も全く事前知識がなくて馴染みがなく、読んでいて結構「？？？」の連続でした……。


個人的な感想など


これまで僕個人としても様々なベイズ統計学のテキストを手に入れては読んできたわけですが、おそらくこの『標準ベイズ統計学』ほどきちんと基礎から懇切丁寧に「ベイズ統計学とは何ぞや」を解説したテキストは日本にはこれまでなかったのではないかと思います。どちらかというと、冒頭でも指摘したようにこれまでにあったベイズ統計学のテキストは「難解な理論の話題に終始したもの」「コーディングによる実装と実践的な応用の仕方にフォーカスしたもの」が大半で、「そもそもベイズ統計学ってどんなものだったっけ」という疑問に一から答えてくれるものはあまり多くなかったように感じています。そこに、まさしく一から教えてくれるテキストとして登場したのが本書と言って良いでしょう。


特に、僕のようなオーソドックスな頻度論から統計学に入っていった人間からすると、冒頭の「信念」の話題からして既に（知ってはいたものの）結構新鮮な印象を受けたものです。必然的にそれは（例えば）ベイズ信用区間と信頼区間とでの解釈の違いの話にも繋がっていくわけで、他の一般的な数理統計学のテキストではほんのちょっとしか触れられないベイズについての考え方が、本書を読んでようやく「広がり」を持って体得されていくような感覚を持ちました。


また、例えば『みどりぼん』ではBUGSベースなのもあってギブスサンプラーを中心に解説されていた記憶がありますが*6、本書では当然ながらまず共役・準共役事前分布があれば回るギブスサンプラーから入っていって、その上でそれらがない場合の手段としてのMHサンプラーを導入していく、という流れを取っています。これは推薦書籍リスト記事でも触れた『モンテカルロ統計計算 (データサイエンス入門シリーズ)』でも同じ流れになっていますが、本書ではより懇切丁寧に解説している感があります。どちらかというと、本書を一通り読んだ上でさらにMCMCのアルゴリズムに興味を持った人は『モンテカルロ統計計算』を続けて読む、というのが良いのかなと思っています。


本書を通じていて面白いというか独特だなと思ったのが、もしかしたら講義録のようなものだからかもしれませんが「へー、この項目をこんなところで解説するんだ」みたいなパターンが多い点です。例えばspike-and-slab事前分布による変数選択の話題はいきなり1章で触れられていますし、一方で欠測データのサンプリングループの話題はしれっと7章で多変量データを扱うついでとして出てきます。この辺には頻度論のテキストとは異なって何となく「行ったり来たり」「行きつ戻りつ」的な雰囲気を感じますが、それもまた本書の味わい深さみたいなものなのかもしれません。


一つ惜しむらくは、ギブスサンプラーにせよMHサンプラーにせよ、徹底してRコードによるスクラッチからの実装に終始しており、現在ライブラリ・パッケージとしてRやPythonで利用可能なStan, NumPyro, JAGSといった既存の汎用MCMCサンプラーを用いた実装が紹介されていない点でしょうか。ただ、原著初版が2009年刊行であることを勘案すると、そこは致し方ないところですかね。是非新版が出た暁には、それらの汎用MCMCサンプラーによる実装の紹介も載せられることを期待したいと思います。


追記


『標準ベイズ統計学』はベイズ統計学をきちんと基礎から日本語で学びたいという人にとって必携の一冊 - 渋谷駅前で働くデータサイエンティストのブログ

僕は久保拓弥 著『データ解析のための統計モデリング入門』岩波書店がお薦め。「最初からこれ読んどきゃよかったー！」って思いました。

2022/11/21 22:05

本文中でもリンクを張ってありますが、久保先生の通称「みどりぼん」は8年以上前の記事で取り上げていましてですね……。

*1:詳細は例えばこの辺を参照のこと：[教材] 今更だが, ベイズ統計とは何なのか. - ill-identified diary

*2:実は過去にこれに関するquizを出されて回答に窮したことがある

*3:これは以前の記事で紹介したWassermanの例と類似している

*4:ただし状態空間モデルの勘所は未だに自分では理解できている気がしない

*5:再現性問題の話題の際に出てきたやつです

*6:例えばこの辺など