概要 Rubin の 1981年の “The Bayesian Bootstrap” とそれに関連する話の認識共有 以前の投稿でいまいちはっきりしない書き方をしたのでその訂正的な意味合いもある 正直なところ「役に立つ」系の話ではないし 「なるほど」系の話でもない やっぱり BB 自体は「便利な手法の提案」ではなく「都合のいい方法はないよ」という趣旨では? BB/ノンパラメトリックブートストラップ法では, 分布のテールや分布が歪んでいる可能性を無視しており, そういう場面で使うのは適切ではない ただし, 状況によっては BB の応用は有効であるし, なんなら Rubin 自身も多重代入法で使っている 概要 1 はじめに 2 Rubin (1981) での主張 3 その後の展開 4.1 Rubin 自身もブートストラップ法を使っていた 4 まとめ 参考文献 注釈 1 はじめにこれははっきり言っ

日本疫学会開催のセミナーで因果推論について60分のショートレクチャーをしました。 講義資料を公開します（本記事の一番下）。 質疑も盛り上がり楽しかったです、参加してくださった方ありがとうございました。 ボストン時間3AM~だったのでなかなかキツかったですが・・・ 初学者向けの内容で、以下のような話をしました。 「第一部」では因果効果識別のための条件や、DAGについて解説していただきました。 関連する記事はこちら。 「第二部」では主に識別の仮定が成立したあとどのように因果効果を推定するのか、そのための方法について議論しました。 以前公開した因果推論の講義資料の後半部分について、少し詳しく話をした感じです。 関連する記事はこちら。 傾向スコアを用いた方法と（アウトカムに対する）重回帰分析の比較は面白いのでは、と思っています。 口頭での講義資料であり、読みながらの学習に最適化していないこと あく

先日、つれづれなるままに 時系列分析の勉強法の記事『統計初心者が時系列分析を学ぶための勉強法』 を書き殴ってみたところ、反響の大きさに驚きました。 正直、時系列分析なんてかなりニッチな分野だ（3人ぐらいしか読まないだろう）と思ってたからです。 ステイホームしているみなさんが、暇だから時系列分析を使ってFXで一儲けしようとでも考えているんでしょうか。 時系列分析のトピックである、状態空間モデルも統計モデリングの一種なわけですが、本日は、「統計モデリングとは何なのか」について、あらためて考えてみたいと思います。 統計モデリングといえば、みんな大好き緑本『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』です。 緑本はたしかに素晴らしい本ですが、緑本を読んだだけでは、「何が統計モデリングで、何が統計モデリングではないのか」「統計学における

機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ

2. 本資料の位置づけ • 拙著『StanとRでベイズ統計モデリング』 において, 書ききれなかったことはいくつかあります. • その中で心理学において有用そうな話題を著者な りに考えて選びました. • スライド中に出てくる章・節・図番号は その書籍内のものを指します. 2 3. 本スライドの記法 • 見やすさのため, 変数を太文字にしている. • 𝒂, 𝑿, 𝒀など. • ベクトル（出てこないけど）は書籍と同じ 𝒀 で表す. • 僕の視力の悪さに由来する. • これから推定されるパラメータを赤い文字で表す. • 𝒂, 𝝁 など. • 事後分布は 𝒑 𝒂, 𝒃, 𝝈|𝑿, 𝒀 のように書くのではなく, 見やすさのため, データを省略し, パラメータを青い文 字で表す. • 𝒑 𝒂, 𝒃, 𝝈 など. 3

シュネーヴァイス @5chneewei55 発端となった人は15万円（750連ガチャ）で消費者庁駆け込もうかと考えたそうですが、750回で0.1％当てられる確率はちょうど五分五分（当たり引ける率52％）。何万くらい突っ込めば当たるつもりでガチャ回してるのかは気になります。 2017-05-09 14:02:05 シュネーヴァイス @5chneewei55 ソシャゲをゲームだから庶民の娯楽と思ってるんじゃないでしょか。ああいうガチャゲーは爆死も笑いにできるお金持ちのためのギャンブルなの。超高級スポーツカーには庶民が乗れないって文句つけないでしょ。我々庶民は大人しくマンガ読んでアニメ見てプレステと3DSとパソコンゲームで遊びましょう。 2017-05-09 15:53:55

確率分布にも種類は色々ありますが、その中でも指数型分布族と呼ばれる種類のものは良い性質を持っており、学習に用いやすいです。今回は指数分布族がどういう種類のものであるか、そしてどういう性質を持っているのかを解説していきたいと思います。 指数型分布族の定義 指数型分布族の例 指数型分布族だと直感的に分かる例：ガウス分布 一見指数型分布族に見えない例：ベルヌイ分布 指数型分布族の性質 モーメントが簡単に求まる パラメータの最尤推定による解が、実データの加算平均と一致する 指数型分布族の代表例 指数型分布族の定義 指数型分布族は確率変数について、その分布のパラメータとして と表されます。この式で表現できるものは、全て指数型分布族ということです。 指数型分布族の例 指数型分布族だと直感的に分かる例：ガウス分布 最もよく知られているものとしてガウス分布があります。 簡単のため確率変数が一次元の場合のガ

（ドナルド・ルービン教授と筆者。筆者撮影） 因果関係を理解したり、証明したりするには考え方の体系的な枠組み（フレームワーク）が必要です。ある2つの事象が因果関係にあると主張するのは勝手かもしれませんが、それが事実なのか、それとも”言い張っているだけ”なのかを判断するためには、それを評価するためのルールが必要になります。どんな条件を満たせば因果関係にあると証明することができて、何が足りないと因果関係を述べることができないのか、を理解しましょう。学問の分野によって考え方はまちまちです。ここでは、専門分野に関わらず普遍的な因果推論（因果関係にあるということを証明する方法）の考え方を理解するために、（１）統計学（ルービン）、（２）心理学（キャンベル）、（３）疫学（パール）の3つの分野における因果推論を順番に説明し、必要に応じて対比させていきたいと思います。今回はその中でも（１）統計学における因果推

素晴らしい記事が上がっていたので言及したい。 仮説検証とサンプルサイズの基礎 - クックパッド開発者ブログ この記事では、A/Bテストにおいて、意味のある差が出たかどうかを統計的検定を用いて判断する方法を説明しています。 Web上にある多くのA/Bテストの記事と異なるのは、単に検定手法にデータを突っ込んでp値を出すのではなく、 意味のある差とは何かを事前に決定する サンプルサイズを事前に決定する という統計的検定のフレームワークに則ったまともな方法で判断を行っているという点です。 よく言われる統計的検定は無意味だなどという言論の多くは、このフレームワークを使っていないだけに過ぎず、不確実な事象に対する科学的な検証方法として、統計的検定のフレームワークの強力さはいまだ健在です。 さて、統計的検定のフレームワークについては上の記事および記事中で紹介されている参考文献にお任せするとして、ここでは

現段階での理解をまとめる。 間違った記述があれば、読者諸氏からのご指摘を頂きたい。 (p値を使うNeyman-Pearsonの)検定によるモデル選択と、AICによるモデル選択を比較した図として、管見では以下が最も整理されていた。薄緑の付箋と黄色のハイライトは私が追加したものである。 (『データ解析のための統計モデリング入門』、久保拓弥、96ページ、2014年7月第10刷より引用) 前掲書の文脈において、この図の主張は以下である。 モデル推定の文脈では、モデルの説明変数の係数に対する検定は「係数=0としたモデル（＝説明変数が１つ少ないモデル）が真のモデルである」という帰無仮説を棄却するものである。そして、図では(見解が統計学者によって恐らく分かれるので恐らく意図的に)記載されていないが、「帰無仮説を棄却したときに対立仮説(=説明変数が1つ多いモデル)を採択する」という論証を踏むことになる。た

こんにちは。林岳彦です。I’m not ABブラザーズ。 さて。 今年の8月6日（木）に日本生態学会関東地区会のシンポジウムを企画させていただくことになりました。ご講演者、コメンテーター、関東地区会幹事等々のご関係者のみなさま方に深くお礼を申し上げます。（その中でも、東京大学の嶋田正和先生には当シンポの企画に際して大変に親身なご助力をいただきました。改めて感謝申し上げます。） 当シンポの概要は以下のとおりです（生態学会関東地区会での正式告知はこちら）： 生態学会関東地区会シンポジウム・公開シンポジウム 「非ガウス性／非線形性／非対称性からの因果推論手法：その使いどころ・原理・実装を学ぶ」 日時：2015年8月6日（木）10:20-17:50 会場：東京大学駒場キャンパス11号館 1101教室（11号館の地図・駒場へのアクセス） 主催：日本生態学会関東地区会 （link） 企画者：林岳彦（国

総務省は、統計トピックスNo.87 ところ変われば物価も変わる －物価構造の特徴により都道府県を分類－（「平成25年小売物価統計調査（構造編）」の結果から）を掲載しました。

対応のない 2 群間の量的検定手法として、最も有名なのは Student の t 検定でしょうか。 以前、Student の t 検定についての記事を書きました。 小標本問題と t検定 - ほくそ笑む しかし、Student の t 検定は、等分散性を仮定しているため、不等分散の状況にも対応できるように、Welch の t 検定を使うのがセオリーとなっています。 ただし、これら 2つの検定は分布の正規性を仮定しているため、正規性が仮定できない状況では、Mann-Whitney の U検定というものが広く使われています。 Mann-Whitney の U検定は、正規性を仮定しないノンパラメトリック検定として有名ですが、不等分散の状況でうまく検定できないという問題があることはあまり知られていません。 今日は、これらの問題をすべて解決した、正規性も等分散性も仮定しない最強の検定、Brunner-

こんにちは。フリッパーズ・ギターの性格が悪い方こと林岳彦です。 さて。 私も大人でありますので本業に追われることもままあります。そして追われているうちにすっかりご無沙汰してしまいました。はてはて。去る7/11に行われた因果推論祭りについてもブログにはまだ何も書いておりませんでした。申し訳ありませんでした。 まだ色々と余裕がないので、以下、雑感の書き散らしになりますがどうかご容赦を： なにはともあれご講演をいただいた星野先生＆黒木先生に感謝しております いや本当に感謝あるのみです。大変ありがとうございました。 そして聴講にお越しいただいた方々に感謝いたします おかげさまで130人の教室がほぼ満員状態になるほどの方々にお越しいただけました。 大変ありがとうございました。 告知がネットやtwitterを中心に広まったこともあり、それぞれに面識も無くまた特に共通のバックグラウンドもない方々が集まり

二群比較のサンプルサイズ設計 MMRM に対するサンプルサイズ設計 二群の生存関数の検定のサンプルサイズ設計 (年次生存割合から計算) 二群の生存関数の検定のサンプルサイズ設計 (MST から計算) 二群の生存関数の検定のサンプルサイズ設計 (MST+HR から計算) 二群の母平均の差の仮説検定に対するサンプルサイズ設計 (群間差から計算) 二群の母平均の差の仮説検定に対するサンプルサイズ設計 (二群の平均から計算) $2 \times 2$ 分割表のカイ二乗検定に対するサンプルサイズ設計 二群比較 (非劣性) のサンプルサイズ設計 非劣性仮説の log-rank 検定に対するサンプルサイズ設計 (年次生存割合から計算) 非劣性仮説の log-rank 検定に対するサンプルサイズ設計 (MST から計算) 非劣性仮説の log-rank 検定に対するサンプルサイズ設計 (MST+HR から

統計の話題で、こういう誤りをよく見るなあ、とか、ここら辺はややこしいなあ、的なものを、エッセイ風に書いてみます。 各トピックの最後に、参考資料を紹介したりします。 色々な話題を扱うので、エントリー全体で、このくらいの知識を持っている層向け、みたいな想定はしていないです。下に行くほど、知っている人向けになる、という感じ。 標本数と標本の大きさ 調べたい集団全体から採り出した個体の数の事を、標本数と書くのをよく見かける。でも正確にはこれは、標本の大きさと言う。この違いは、標本という言葉をどのように捉えるか、に起因するもの。標本を、調べたい集団に属する要素と考えるか、含まれる集合と捉えるか。前者で考えると標本数を使う事になるけれど、抽出した集まりそのものを標本とすれば、標本数とは言えなくなる。で、集合に属する要素の数の事を、集合論では大きさというので、それを踏まえて、標本の大きさと言う。 たとえ