有意と非有意の差は有意とは限らない

アンドリュー・ゲルマンの9/9ブログエントリと、同日付けガーディアン紙記事（ Chris Blattmanブログ経由）が同じ論文を取り上げている。

その論文の内容とは、

• ある効果が5%水準で有意
• 別の効果は5%水準で非有意
• よって2つの効果は異なる

という誤った推論*1を行った論文が、神経科学のトップ5の雑誌に掲載されたうち半数に達した、というもの（具体的には、513の論文を調査し、そうした誤りを行う可能性のあった157の論文のうち79論文が実際に間違えていた、との由）。

ゲルマンは、1世紀近くに亘って続いてきたこうした誤謬問題が、なぜ最近になって改めて脚光を浴びているのか、と訝っている。

ガーディアン紙記事では、正しい手順を踏んで改めて両者の差の検定を行うと非有意になることが多いので、研究者がわざとそうした推論を行っている可能性もある、という穿った見方を示し、そうした腐敗よりは無能の方がまだまし、とコメントしている。

*1:実際にはその2つの効果の差が有意かどうか改めて検定しなくてはならない。