「統計オタク」の分析はつまらない？

実践としての統計学

第5章「統計の実践的意味を考える」（佐藤俊樹）

研究会に向けて、同じ社会学者が書いた統計分析についてのエッセイということで読んでみた。頭を整理する意味で、サマリを作ってみた。

5.1　統計解析の「意味」

• SPSSなどのソフトウェアの普及のせいで、意味もわからず「ハウツー」で統計分析をする人が増えて、統計学的に間違った分析が横行している。（例：全数調査でカイ二乗検定。）
• なぜ「ハウ・ツー」ユーザが増えたのか。それは統計パッケージソフトが普及して、統計学の知識がなくても結果だけは出せるようになったからである。（以前はそれができなかったので、結果を出す人は手順の意味を理解していた。）
• いくら統計パッケージソフトが普及していても、分析手法の意味を理解しないのは問題だということは自明なので、「理解しろ」という圧力は存在する。
  • ところが、まず第一に、統計学の論理が分かりにくいので、そうした運動はあまり効果を持たない。
  • 次に、そうした「ハウ・ツー」撲滅運動は、同時に「統計オタク」的研究スタイルを生み出し、そういった人たちは（洗練されたモデルを駆使しつつも）実質学問的にはつまらない研究をする。そうした人たちの研究を見て「ハウ・ツー」ユーザは、「統計に詳しくなってもよい分析ができるようになるわけじゃないのね」と感じてしまう。

コメント。

以上のことを言うために筆者は「メタ手順」という概念を導入している（が、なぜそうしたのかはよく理解できなかった）。

「統計オタク」のつまらない分析を見て「統計の知識なんてなくてもいいや」と判断してしまう人達がいるという現状がある、というのはそのとおりかもしれない。ただ、これは「分析手法にも詳しくて分析内容も面白い人の研究を見習いなさい」で普通に終わる話である。社会学でも山口一男先生や太郎丸先生など、そういう人はたくさんいる。実質的に意義のある議論でも分析手法が間違っていれば間違ったデータの使い方をしているのだし（ある意味非常にたちが悪い）、逆もまた真である。当然、両方必要なのだ。

そして分析手法の不備、理論的含意の薄さは、どちらも学会発表をすればすぐさま指摘されることであり、したがって研究者なら誰も「どちらかになるのは仕方がないよね」とは考えていない。

5.2　統計学と計量分析

• 記述統計や（因子分析等の）多変量解析は、データの情報を圧縮して伝えてるだけなので、それらの手法の統計的意味を理解していることは、分析の実質的な有用性につながりやすい。
• これに対して数理統計---推測統計のことか？---の場合、論理が複雑になるので、一挙に「ハウ・ツー」ユーザが増える。
  • 例えば統計分析では両側検定（「男女間で差がない」の検定）をしているのに、結果の解釈の段階では片側検定（「男の方が女より数値が高い」の検定）をしているかのように書いているのは、理解不足、あるいは統計の論理の複雑さのせいである。
  • 仮説検定では「関連なし」という帰無仮説が検定されるが、帰無仮説が棄却できないとき「関連ありとはいえない」としか言えないのに、しばしば「関連なし」だと解釈されている。
• この「ややこしさ」に対して、統計学的検定の論理をつきつめることには賛成できない。なぜなら...
  • そもそも調査データは回収率が低く、厳密な検定をしてもそれだけで問題が解決するわけではないので。
  • 大規模標本ではほとんどの検定が有意差を示すので、そもそも検定の意味がないので。

コメント。

大規模標本で検定結果のみから何か判断しようとするのは、普通に理解不足。ほんの少しの理解の追加で解決可能なので、ことさら取り上げて論じる必要なし。回収率については、セレクション・バイアスに対する対処など、統計学の内在的な論理が準備されているのだから、勉強すればそれでよい。

というわけで、やっぱり「統計を使うなら、ちゃんと統計を勉強しようね」「統計以外にも実質的議論に習熟しようね」という話でしか....。筆者は

「統計学がわかっていない」といっても間違いではないが、「わかっていない」理由を考えなければ「わかれ」といっても無駄である。それは「わかれ」という側の自己満足にすぎない

と書いているが、さすがにそれは無茶苦茶だ。だって高校や大学の学部の授業ではなくて、研究の世界なのだから。

5.3　計量分析のエスのメソッド

• 調査データには独特のクセがあるから、知っておかないとダメだよ。調査データが生成される文脈に無頓着にデータ分析をすると、「下手」な分析になるよ。
• 調査データが持つ「意味の不確定性」から目をそらすと、「調査オタク」が誕生する。
• 社会学は制度に注目する。制度は「循環的強化過程」--予言の自己成就のようなもの--によって成立するから、そもそも因果関係を特定できない。だから社会学者は因果関係ではなく相関関係を重視する。
• 調査データでは「意味が不確定」なので、データの理論的な意味と統計学的な意味を同時に考慮しながら、解析と解釈を繰り返していく必要がある。

コメント。

最後の部分、同意である。特に調査データには「意味の多様性」が反映されているので、統計解析と意味解釈の反復の中でこそ、より洗練された分析結果が生まれる。

しかしどうもいちゃもんばかりになってしまって申し訳ないのだが、ここに書かれていることは、多くの計量分析者がすでに十分に理解していることなわけで...。「一部には理解していない人がいる」のは確かにそうだろう。しかしそれは至極単純に「訓練不足」なだけであって、何かしら特別な構造的問題があるわけではない。

しかし筆者は単なる「勉強不足」ではすまない問題がそこにある、といいたいようだ。それが私には最後まで理解できなかった。「統計オタク」の分析はつまらない、ということから何らかの興味深い含意を引き出すことはできない、と私は考える。

あと、「調査オタク」のところもよく理解できなかった。私の印象だと、調査に詳しい人はデータのクセをリアルに把握する能力に長けており、データ生成の文脈に関して想像力が豊かであることが多い。ここでいう「意味の不確定性から目をそらす調査オタク」とは、どういう人達を指すのだろう？

最後に、「循環するから因果を見る必要がない」というのはどういうことだろう？　少なくとも統計学では、因果関係は「Aに介入することで生じるBの変化」のことなのだから、データの採取方法や推定モデルを工夫すれば循環していても因果の特定は可能だし、またそうするしかないような気がする。

全体的感想

この章の副題は「計量分析のエスノメソッド」だが、筆者が具体的に念頭に置いていたのは、筆者が考える限りでの「下手な計量分析」をする研究者であるようだ。したがってここで書かれている文章は、良質な（というより普通の）計量分析の実践については、なにか追加的な知見をもたらしているわけではない。

というより、やはり「統計と実質理論と両方ちゃんと勉強しなきゃね」という（当たり前の、たいていの計量分析者が言われなくてもすでに実践しようとしている）メッセージ以上の何をここから読み取れば良いのだろう？　学会や研究会では昔から、「この研究の実質的含意は？」「この変数の意味はこれで妥当か？」「この統計手法でいいのか？」という議論が飛び交っていて、研究活動に参加する以上、そういったやり取りから逃げることはできないのだから。

追記

佐藤先生のコメント中の因果推論の部分について、一部の方には馴染みのない用語があるかもしれません。以下の本が参考になりますので、念のため掲載しておきます。

統計的因果推論―回帰分析の新しい枠組み (シリーズ・予測と発見の科学)

コメントで書かれている新刊です。

社会学の方法―その歴史と構造 (叢書・現代社会学)