北田暁大さん、山岡重行『腐女子の心理学2』はオーソドックスに分析していますよ

社会心理学者の山岡重行氏の『腐女子の心理学2』（以下、山岡本）の統計解析について、社会学者の北田暁大氏が色々と批判している^*1のだが、地に足が着かない批判になっている。山岡本を流し読みだが確認してみたのだが、後半の統計概念の説明に難が無いわけではないが、山岡氏の分析手順はオーソドックスな範囲のものであり、大きな問題がある部分は見当たらない^*2。利用した分析手法で言える範囲のことしか言っておらず、大きな問題だと主張するのは無理である。そもそもこの手の実証研究は分野ごとの慣習に習うものなので、下手に難癖をつけてもなかなか的を得た批判にはならない。

山岡本の統計的仮説検定の説明に難がある^*3のはそうなのだが、本文中で行われている統計解析である標本平均と特定の値の一群のt検定、群と群の平均値の差の二群のt検定の解釈は、帰無仮説が棄却されれば対立仮説を採用し、棄却されなければ対立仮説が真とは言えないとするものである。多重比較補正はBonferroni法であり帰無仮説を棄却しづらいと言う意味で保守的な方法を用いているが、帰無仮説が棄却されないときに帰無仮説を採用しているわけではない上に、5段階の選択肢の3（おそらく「どちらでもない」を意味する）を基準に議論、つまり間接的に効果量も評価しているので、対立仮説が正しいのに帰無仮説を棄却できない第2種の過誤が幾つか生じたとしても、分析全体として大きな問題は生じないようになっている。

土居(2010)で言うハイブリッド仮説検定法に準拠しており、北田氏が気にするアメリカ統計学会（ASA）の統計的有意性とP値に関する声明に照らし合わせて考えても、本文中で行われている統計解析の解釈は妥当なものである。P値は帰無仮説を棄却する基準としてしか使っていないので、第1項、第2項、第5項、第6項はクリアしている。調査結果では効果量（平均値の水準）も評価しており、考察部分では社会心理学の先行研究との関係から議論を行っており、第3項もクリアしている。調査方法は概ね明確に記されており、透明性を要求する第4項もクリアしていると言えるであろう^*4。統計的仮説検定は、機械的に解釈している限りにおいて、問題を生じさせることはない。

北田氏はまた、山岡氏が統計的仮説検定抜きに「中点越えをしているや中点未満であるという判断」を行っていると言う批判を加えているが、例に挙げられている部分で致命的なものはない。

1. 質問「もし夫に充分な収人があるとしたら、妻は仕事を持たない方がよいと思う」の回答で「平均値はどの群も中点の3以下であり、男性オタク群でも積極的に肯定している訳ではない」（p.54）と言うには、（「積極的に肯定しているとは言えない」と言いたいと解釈して）平均値が3以下である帰無仮説を棄却できなければよいのだが、平均値が3以下なので計算するまでもなく棄却できない^*5。「積極的に否定している」と言うのであれば、平均値が3以上の帰無仮説を棄却すべきであろうが。なお、北田氏は平均値が3以上の帰無仮説でt検定を行い検証を行っているので、本文と整合性がない。
2. 質問「わたしは結婚したら、子どもを持ちたいと思う」の回答で「どの群の平均値も3.5を超えており、肯定的に回答していることがわかる」（p.54）と言うには、確かに（3.5ではなく）3.0以下を帰無仮説にしたt検定を行うべきである。母集団の期待値が3.5を超えていると主張されているわけでは無いのだから、t検定しないといけないのは肯定的に回答しているか否かの方。しかし、公開されている各群の平均値と標準誤差をもとにP値を算出し、5群で実行する検定回数は5回^*6なのでBonferroniの多重比較補正として5倍にしたところ、どれも0.05を下回った。もちろん、すべての群をあわせた全体でも帰無仮説は棄却され、対立仮説が採用される。
3. 「腐女子群であっても平均点は中点の3.0以下であり、熱中しているものがあるから恋人は欲しくないと積極的に肯定しているわけではない」（p.65）も、平均値が3以下である帰無仮説を棄却できなければよいのだが、平均値が3以下なので計算するまでもなく棄却できない。北田氏は、ここも平均値が3以上の帰無仮説でt検定を行い検証を行っているのだが、それは積極的に否定しているか否かを検定してしまうので、本文と整合性が無くなる。

なお、「ある程度の幅をもたせて、たとえば仮説値を「2.5」などとするとp値はもっと大きくなる」と言う北田氏の言及は、3が「どちらでもない」無いと言うような選択肢なので、3が分岐点になっている事に注意が払われていないし、t検定の有意水準が幅をもたせるために設定されていることを理解していない。北田論文では1～4が選択肢なので2.5が境界になるので2.5以上/以下を帰無仮説にすべきだが、山岡本は1～5が選択肢なので3が境界でいいのである。

北田氏のBonferroni法の使い方への批判で、非常識なものがある。山岡本では腐女子/女性オタク/女性一般/男性オタク/男性一般の5群としてBonferroni法で多重比較補正をかけているわけだが、北田氏は「山岡（2019）では、全部で1900回程度の群間比較が行われている…不思議なことに、その約1900回の群間比較に対する多重性調整はまったく行われていない」「Bonferoni法を採用するのであれば、1900回の検定をしたのであれば生のp値を1900倍する必要がある」と主張しているのだが、他の研究で多重比較補正がどのように行われているか確認してみて欲しい。群の数に対して補正はかけているが、項目の数に対しては補正はかけていない事が多いと思う^*7。項目の数について考慮する場合もあるだろうが、薬の効果のように一項目でも有意な差が出ることにより科学的な結論が変わる場合に限られるであろう。

F検定を行った後のBonferroni法による多重比較は妥当ではないと言うのは、その通りとされている。多重比較補正のドキュメントを読む限り一昔前はそれが通例だった気配があるのだが、現在ではF検定は要らないとされている。しかし、「過剰に保守的」と言えるかは疑問がある。5群の多重比較補正でもP値が10倍になるわけで、F検定をパスしないような差異で多重比較で有意性が出る可能性は低い。試しにTable 3-1を用いてF検定がnsとなっている項目の群間比較を行ってみたが、統計的に補正後5%有意な差異は見つからなかった。なお、統計解析パッケージはばらばらと計算してくれるので、F検定がnsとなっている部分の群間比較の結果を山岡氏が確認している蓋然性は高い。

北田氏は科学哲学が云々と言うところで何か主張されたいように思えるのだが、確率・統計の数理的な知識や統計解析の実運用についての十分な経験なくそちらの方向から実際の統計解析を議論しようと言うのは無理がある。山岡氏の確率・統計への理解を問い正したいようではあるが、一般の統計ユーザーは利用できる分析方法でデータを取り扱っているだけであり、別に確率・統計への理解を競いあっているわけではないので、そこに何か建設的な意義があるようにも思えない。予想されるバイアスをコントロールしていないような分析であれば、そのバイアスを指摘することは大きな意味があるが、そういう話にはなっていない。

*1「山岡重行聖徳大学講師の拙稿への「批判」と統計学理解の問題及び研究教育倫理の重篤な問題について③――山岡氏のBonferroni調整をめぐり｜北田暁大｜note」「山岡重行聖徳大学講師の拙稿への「批判」と統計学理解の問題及び研究教育倫理の重篤な問題について④――統計的検定に関する議論をめぐって｜北田暁大｜note」

*2ステップワイズ法による重回帰分析にやや疑問がある。社会心理学ではよく利用される手法ではあるようだが、問題も指摘されている（回帰分析で使うステップワイズ法への批判 - A way of thinking）。山岡本の第9章のTable 9-4で、全体で選択されている説明変数（親密性回避）が群ごとの回帰では選択されておらず、逆に腐女子群で選択されている説明変数（親との葛藤，少女マンガ的恋愛物語嗜好性）が全体で選択されていないのだが、これらの説明変数間で多重共線していたりしないであろうか。

*3有意確率（probability value; P-value）と有意水準（significance level; α）を混同している記述がある。具体的には、「統計的に意味がない誤差を意味がある有意差と見なす過ちが存在する…「差がない」という帰無仮説が正しいのに、それを否定して「差がある」と主張してしまう過ちである。この過ちを統計学では第1種の過誤と呼ぶ…第1種の過誤を犯す確率を危険率と呼ぶ。これは有意水準と同じもので、本書のあちこちに登場する「P」がこの危険率＝有意水準」（p.172）である。

*4想像はつくのだが、5段階の選択肢を明確に分かるようにして欲しかった。

*5p値が以下のような状態になる。

*6群と群の比較であれば対比較の回数が5!/3!2!=10となるが、定点に対して検定しているので5回となる。

*7理工系向けのガイドライン的な説明を読んでも、「むやみに測定項目を増やさない」というアドバイスになっており、測定項目数に応じてP値に補正をかけることは示唆されていない（関連記事：理工系のラボで使われている統計学的仮説検定）。そもそも統計解析パッケージが、別々の分析に対して一つの多重比較補正をできるようにはなっていない事が多いと思う。Bonferroni法であれば単純なので、できなくは無いのだが。