どもです。林岳彦＆オメガトライブです。きみは1005%（消費税込） さて。 今回は、前回の記事： 今回は因果関係があるのに相関関係が見られない4つのケースをまとめてみた（前編：検定力が低い） - Take a Risk: 林岳彦の研究メモ のつづきの”中編”になります。本記事では「因果関係があるのに相関関係が見られないケース」の中でも、「交絡・合流点」が関わるケースについて書いていきます*1。 扱う内容の範囲としては、最初の記事： 因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk: 林岳彦の研究メモ と重複する部分がかなりありますが、今回の記事では、「仮想例のデータ生成」の段階からRでの計算を交えて説明していきたいと思います。（今回はちょっと「R実習」のような趣になるので、Rの読み書きができないと分かりにくい部分が多々あ

どもです。林岳彦です。息子の3DSにバーチャルコンソールの「ソロモンの鍵」を密かに入れました（まだ３面）。 さて。 前回の記事： 因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ につきましては沢山ブクマ等をいただき大変ありがとうございました*1。大変感謝しております。 さて。上記記事について、ublftboさんから「相関関係の定義が書かれていないのでは」（相関と因果 - Interdisciplinary）とのご指摘をいただいたきました。 ご指摘は確かにごもっともですので、今回は「相関」概念についてと、そのついでに近年に開発された"21世紀の相関（MIC）"の話について私なりに書いてみたいと思います。 （以下、ややマニア向けの話になるかもしれません。あと前回ほどではないですが、それなりに長いです。）

どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

ヒストグラムと箱ヒゲ図は、両方とも分散あるいは標準偏差の状況を 視覚的に解りやすく表現したものである。 ヒストグラムは、全体的な分布の形を視覚化し、 データの偏り方を視覚化する。 一方、箱ヒゲ図は、全体的な分布の範囲を四分位で表し、 データの偏り方を視覚化する。 分散や標準偏差というのは、全体のバラツキの程度を指標化しているだけ。 それに対して、箱ヒゲ図やヒストグラムは、全体のデータの偏り方を観察できる。 また、標準偏差からの乖離の程度を見たり、 あるいは、対応する分布を考えるためにも用いる。 これらは、統計においては、非常に重要なことである。 さて、今回は、この辺りの話には深入りせず、 もう少し、データのバラツキの可視化方法について考えてみる。 「箱ヒゲ図」と「ヒストグラム」の両方の特性を併せ持った可視化方法がある。 ここで紹介する方法は、かなり魅力的。利用価値も高い。 それにも関わらず

TechCrunch Daily News Every weekday and Sunday, you can get the best of TechCrunch’s coverage. Startups Weekly Startups are the core of TechCrunch, so get our best coverage delivered weekly.

いつも丹野記者には頭が下がるが。 昨日の「性同一性障害:自殺未遂・自傷、経済状況悪化で再上昇 」の記事は、飛ばしすぎではないか。 http://mainichi.jp/select/news/20121012k0000m040077000c.html この記事のもととなる中塚先生のデータをどこで取材したかははっきりしないが。 今年8月、松江のアジア性科学会で中塚先生がこのデータを出されたときは 「2008年から自殺未遂･自傷が増えています。理由ははっきりしませんがリーマンショックの影響かもしれません」 とはいっていた。 ただこれはデータ解釈のひとつの仮説に過ぎない。 08年での上昇はリーマンショックの影響かもしれないし、偶然の一致かもしれない。 そのどちらであるかを論ずるデータはない。 （たとえば、自殺未遂の理由で経済的困窮を述べる割合が増加したなど）。 疑わしい理由はいくつかある。 １．

オッス！オラ悟空！（嘘） さいきんナンプラーに杏ジャムを組み合わせることで、パッタイ的風味*1が出せることに気が付きました。みんなも是非やってみてくださいね。 あと、さいきん研究所内のカジュアル系セミナーで「相関と因果について考える：統計的因果推論、その(不)可能性の中心」というタイトル*2で発表をいたしましたのでそのプレゼン資料を晒してみます。 相関と因果について考える：統計的因果推論、その(不)可能性の中心 View more presentations from takehikoihayashi 要旨はこちら： 相関関係と因果関係は同じではない。しかし研究や行政の現場においては、しばしばその両者が明確に区別されぬまま議論が行われている。全く由々しき問題である。 本発表では、近年発展してきた「統計的因果推論」という本質的かつマニアックな分野の知見をもとに、「相関と因果」の関係についてで

モーニング日記（2025年02月） モーニング日記は、モーニング好きの私が毎月モーニングを食べた日だけ書く日記です。 ◆休日モーニング活動はじめました - それは恋とか愛とかの類ではなくて ◆モーニング日記（2025年01月） - それは恋とか愛とかの類ではなくて 2月中に更新したかったけれどやはり2月…

東浩紀氏の提唱している『一般意志2.0』は、ルソーの一般意思とは異なり意思決定メカニズムでは無く、「情報技術によってサポートされた、世論調査を遥かに超えた、細かい精度をもった民意の可視化システム」だそうだ（BLOGOS）。定義不可能な“民意”は論理的に可視化できない（もしくは“民意”から“正解”は導き出せない）わけだが、それを置いたとしても、世論調査をSNSデータのテキスト・マイニングが超える事は無い。 1. サンプリング・バイアスの問題 「分布の状態を調べる上でランダムサンプリングであることほど重要なことはねぇんだよ」と端的に指摘している人もいる（唐突に分布の話をしているように思えるが、東氏が『「一般意志2.0」のシステムで出てくるのは、どちらかというと、様々な意見がどのように分布しているかという一つの地図』と説明している）のだが、もう少し平易に補足してみよう。Twitterや2chやニ

毒性が良く分からない低レベルの放射性セシウムに関して、確率論的に『「死亡率0.1%なら1000人にひとり死ぬ」は間違い』と言う話題があがっていた。早川群馬大学教授を批判する内容だが、批判になっているような、細部をつついているような感じだ。またベルヌーイ分布を持ち出す必要性は無いように感じられる。 1. 服毒者1,000人だと目立つ粗 Togetterにあるように、通例使われる確率分布はベルヌーイ分布になるため、死亡率0.1%の毒を1000人が飲んだときに、死亡者数0人は36.77%、1人は36.81%、2人は18.40%、3人は6.13%、4人は1.53%、5人は0.30%となっている。分布を書くと以下のようになり、これを意識する限りは「ひとり死ぬ」とは断定できない。 ただし期待値は1である。早川教授の“毒性の解釈”への批判を行う場合は、期待値で危険性を量るべきかと言う事であろう。 2.

米国FDAで公認され、ハーバード大学やイェール大学の授業で利用されるようになり、世間での認知度が着実に上昇している統計用プログラミング環境のRだが、ユーザーなのか、ユーザーになりたいのか、ユーザーとして振舞いたいのか分からない人が増えてきた。 スノッブなユーザーとして振舞う場合は、Rの特性を語れる必要があるので、ユーザーになるよりもRへの知識や理解が必要で、実は難易度が高い行動である。それでもあえて意識の高いRユーザーとして振舞いたい人々のために、最低限求められる事のチェック・リストを用意してみた。 1. 参考文献や参考ページを押さえておく 一番大事な事だが、参考文献や参考ページを押さえておこう。公式サイトで配布されている、「R 入門」「R 言語定義」「R のデータ取り込み/出力」は持っておくべきだ。R-TipsやRjpWikiも参考になる。 2. 演算子や制御構文をマスターする 四則演算

最近はベイジアンが増えてきて、実用分野での利用も進んでいるようだ。話題としては知っておきたいが、世間一般には理解に混乱を生んでいるようだ。 ベイズ推定は入門レベルの統計学の教科書ではオマケ的な扱いがされており、実際に伝統的な統計手法を拡張している面が強い。そういう意味では、誤解や混乱があっても仕方が無い。 利用する必要があるのか無いのか良く分からない点も多いのだが、知らないと告白するのも気恥ずかしいかも知れない。自分ではベイズ推定で分析を行わない人が、ベイズ信者と話をあわせるために最低限知っておくべき事をまとめてみた。 1. ベイズ推定とは何か？ ベイズ推定とは、ベイズの定理を応用した推定手法だ。端的に理解するためには、最尤法に事前確率を導入している事だけ覚えれば良い。これで哲学的議論を全て回避してベイズ推定を把握することができる。 下の(1)式ではπ（θ）が事前確率、π(θ|x)が事後確

社会学者や経済学者にとって、統計学をベースにした計量分析とは、何かを因果的に説明する道具であるという側面がある。賃金を学歴で説明するというとき、それは他の条件が同じで学歴が変化したときの賃金の変化量を推定する、という意味である。 （記述的な分析手法を含めて）統計学を学ぶ人のほとんどは、この「説明(explanation)」のためにそれを学んでいるのだと考えられる。 しかし統計学には、それとは全く異なった目的が託されることもある。それは「選抜(selection)」である。統計学を選抜に使うというのは、それをアカデミックに活用している研究者からみても、実はあまり馴染みのない考え方である。というのも、あとで詳しく述べるが、選抜は学問的説明とは相容れない考え方だからだ。 しかし選抜は、実践家においては大いに意味がある考え方である。「限られた回数の耐久力テストの結果から、真に優れた個体を選抜する」

どもっす。先日のdo演算子についてのエントリーに関しては多数の方々にブクマやスターをいただき大変ありがとうございました。書いてよかったです。。。 さて。 その先日のエントリーに関連して、id:aggren0xさんに面白いエントリーをいただきました。 遺伝統計学における「因果律」の特殊性 このエントリー内でaggren0xさんは、遺伝統計学における「因果問題」は特殊なのではないかと語っておられます。内容を引用しますと： ところで、疫学ではなく遺伝統計学のほうの話で、これは教科書に書いていることではなく（あるかもしれないが記述は見たことがない）、遺伝学者での雑談として「そうだよねえ」と言っていたことなのですが、 「統計学者を悩ます因果律の問題は、遺伝統計学における遺伝的関連・連鎖においては問題にならない。これは遺伝学の特殊な性質である。」 というもの。なぜなら、DNA（遺伝因子が刻まれているも

皆さまこんばんは。今回から数回のあいだは、久しぶりに統計的因果推論ネタについて書いていきたいと思います。 今回の具体的なテーマは「Judea Pearlのdo演算子」になります。マニアックです。 このテーマについては自分でも完全に理解しているわけでは全くないので、「解説」というよりも「半可通が書いた公開勉強メモ」というかんじになりますが、その旨ご了承いただければ幸いです。 （＊例によって今回もまためちゃくちゃ長いエントリーとなりますが、何卒よろしくお願いいたします。また、間違いなどがありましたらその旨ご指摘いただければ大変幸甚でございます＞本物の識者の方々） まえおき：Judea Pearlって誰すか？ はい。ではそもそもその「Judea Pearlって誰すか？」というところから書いていきたいと思います。 結論から言うと私もよく知りません。ですが、周辺的手がかりからヒューリスティックに判断

経済学者を自称する池田信夫氏がブログのエントリー『「きっぱりはっきり」の誘惑』で、統計学への無理解を晒している。帰無仮説を棄却するか否かと言う、統計学の検定プロセスを理解していないからだ。 池田氏は、低レベル放射線被害の健康被害に関して、広島・長崎LSSデータでは「リスクが小さすぎて統計的に有意な結果が出ない」と言う正しい指摘のあとに、 ともっともらしいが、統計学的に奇妙な事を言っている。統計学で厳密に危険などを示す検定の手順を認識していない。 1. 統計学では「リスク・ゼロ」の棄却を試みる 統計学では結論を出すために「検定」を行う。検定では、帰無仮説（H0）を棄却できるか否かを調べる。リスクの検定では、H0はリスクがゼロになる。H0が棄却されれば、リスクがゼロではない、つまりリスクがある事になる。H0が棄却できないときは、リスクがゼロでは無いとは言えないと言う、分かりづらい結論がもたらさ