2024年12月31日火曜日

財務省のデータ解析が不適切だと批判しているデータサイエンティストの外れ値の処理が良くない件

このエントリーをはてなブックマークに追加
Pocket

財務省がOECD諸国の一人あたり実質GDP成長率を歳出拡大率に単回帰をかけて、両者に「相関が無い」と主張したことに対して、本業はデータサイエンティストとのことのhatankokka氏がデータ解析が不適切だと批判し、外れ値を除外した異なる分析を提案している*1

しかし、どうもhatankokka氏は、財務省の意図をよく理解していない気がするし、また、代わりに提案している分析も適切とは思えない。問題に気づいていない人々がいるので指摘しておきたい。

1. hatankokka氏のデータ分析の問題点

hatankokka氏の分析から見ていこう。四分位と中央絶対偏差で外れ値をアイルランドの値だと特定し、外れ値を除外してピアソン相関を見ると0.429になり、統計的に有意な値になると言うものだ。そして統計的に有意だから相関があると主張している。

しかし、アイルランドを除外するのは問題がある。アイルランドは多国籍企業の進出によって外れ値になったそうだが、そのような外国直接投資の影響も含めた上で、歳出拡大と実質GDP成長率の関係を見るのが目的では無いであろうか。実験や集計のミスでデタラメな数字が入って外れ値になっていると考えられるわけではない。

さらに、スピアマン相関は、回帰分析の相関係数と異なる値になるので、財務省の手法の改善になっていない*2。プロットがあるのに、プロットとつながりの悪い数字を参照することになっている。

2. 改善案:ランク基準推定

外れ値を入れたら誤差項が線形回帰の条件を満たさなくなるときには、分位点回帰やランク基準推定と言った手法を使う。分位点回帰の方が人気なので、今回はランク基準推定の結果を紹介しよう。有効推定量ではないが一致推定量だし、一般線形回帰(OLS)で推定できる場合もOLSと同じような値を出してくるので便利な手法だ。

見ての通り、アイルランド(IRL)の影響が小さくなっている。なおOLS推定量の係数は統計的に10%有意でもない*3が、ランク基準推定(Rfit)の方は5%有意となっている*4。これはhatankokka氏の主張にあう結果であるし、財務省の分析手法の改善になっている*5

3. 財務省の「相関関係は見られない」に問題はない

破綻国家研究所作成のデータセットは、微妙に財務省のデータセットと異なるようだが、財務省の回帰分析の相関係数は0.24で、係数の統計的仮説検定も0を棄却できていない(単回帰なのでF検定も同様)と予想される。0.2未満は慣習的に弱い相関も認めないし、0.3未満も特に言及されることは無い。0だと言う帰無仮説も棄却できていないのだから、「相関関係は見られない」に問題はない。推定方法を変えたら話が変わったわけだが、OLSの結果の説明なのだから、その結果に沿っている以上は、問題なし。

4. 頑強な推定を行う必要も無さそうである

外れ値に対して頑強な推定方法を用いるべきだとは言えるが、OLSが基本となっている世の中なので、そう責められるものでもない。逆に言うと、OLSを使っていることから、財務省の目的が想像できる。財務省は歳出と経済成長の関係の議論に決着をつけたいのではなく、一般的な手法で簡単に観察できるほどの効果はないと主張したいだけだ。「相関関係は見られない」に続く段落で「規模ありき」の予算編成を戒めているので、規模拡大が経済成長を産むとは限らないので当てにしないと言う話だとわかる。

5. hatankokka氏が相関係数の検定にこだわる不可解

財務省の図にあるR²は単回帰の決定係数だ。あまりR²に検定はかけない。なぜならば、回帰モデル全体に関するF検定があるからだ。そしてR²が小さければ、F検定でゼロを棄却していても、やはり相関は小さいと言う事になる。通常、相関係数が0.2未満の場合、相関は無いと見なすのが慣習だ。0.2を少し超えても、注目すべき値とは見做されない。なので、hatankokka氏が相関係数の検定にこだわる理由が分からない。

なお、質問をしたら「「政府支出の伸び」と「一人当たりGDP成長率」に相関があるとする仮説検定は行っていない」と言う返事が来たそうだが、統計解析ソフトはほぼ自動で係数に仮説検定をかけるので、F検定の値を見ていないと言う事はないはず。ゼロを棄却できていないであろうし、ソフトウェアのアウトプットをそのまま出せば良かったと思うのだが、ピアソンの相関分析で検定を行ったのかと言う質問に捉えたのかも知れない。

*1財務省の不適切なデータ解析について|破綻国家研究所

*2せめて外れ値を除外した単回帰を行うべきだった。なお、やったら相関係数は0.429、係数は0.330で10%有意となる。

*3OLSのsummaryは以下

Call:
lm(formula = model, data = df01)

Residuals:
    Min      1Q  Median      3Q     Max 
-1.9220 -0.8223 -0.3420  0.2639  5.6877 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   1.1510     0.4375   2.631   0.0127 *
IGS           0.1871     0.1656   1.130   0.2664  
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.425 on 34 degrees of freedom
Multiple R-squared:  0.0362, Adjusted R-squared:  0.007848 
F-statistic: 1.277 on 1 and 34 DF,  p-value: 0.2664

*4Rfitのsummaryは以下

Call:
rfit.default(formula = model, data = df01)

Coefficients:
            Estimate Std. Error t.value p.value  
(Intercept)  0.68883    0.34580  1.9920 0.05446 .
IGS          0.26117    0.11801  2.2132 0.03370 *
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Multiple R-squared (Robust): 0.1313071 
Reduction in Dispersion Test: 5.13926 p-value: 0.02987

*5OLSの相関係数を二乗した決定係数は、説明変数の分散が従属変数の分散を説明する大きさ(寄与率)を意味するが、ランク基準推定のR²からはその意味はなくなっているので、ここは注意が要る。

*6なお、経済成長とともに社会保障などで政府の役割も増加する傾向があり、実質政府支出と実質GDPの相関はよく知られている関係。因果の向きを特定できるような分析でないと、学問的にも、政策的にも大きな意味はない。

0 コメント:

コメントを投稿