経済学データ革命の成長痛

前回エントリで取り上げたAlwyn Young（LSE）の論文を、Bellemareと同日（11/27）にノアピニオン氏も表題のブルームバーグ論説（原題は「The Economics Data Revolution Has Growing Pains」）で取り上げ、氏が称賛する経済学における実証研究の拡大に伴う成長痛、という見方を示した。

But rapid growth usually comes with growing pains, and empirical economics is no different. As evidence becomes more and more important to the discipline, it was inevitable that the methods empirical researchers use would come under increasing scrutiny. And that scrutiny was bound to find some systematic mistakes and methodological issues.
One example of this scrutiny comes from Alwyn Young of the London School of Economics. In a recent paper, Young evaluates the use of a common empirical technique known as instrumental variables, or IV. IV is used to separate causation from correlation. For example, suppose you want to find the effect of marriage on income. If you find that higher income people are more likely to be married, that could mean marriage makes you richer, or it could mean that richer people feel more comfortable getting married. To find out which causes which, you could try to find a third thing -- say, a change in divorce laws -- that affects marriage but doesn’t directly affect income. That third thing is called an instrument.
In the past, criticisms of IV have mostly focused on cases where the instrument is weak. But Young shows that even in cases where the instrument is strong, it often introduces lots of noise to measurements. That noise can easily make economists’ estimates unreliable, leading to false claims of statistical significance.
That economists routinely ignore this problem is just one case of a larger issue. Economists generally pretend that their data sets are huge, when in fact they tend to be rather small. This leads them to ignore the problems and tradeoffs that arise from small samples.
（拙訳）
しかし急速な拡大は成長痛を伴うのが通例で、実証経済学もその例外ではない。経済学にとって実証結果の重要性がますます高まるに連れ、実証研究者が用いる手法がより綿密に吟味されるようになるのは避けられない。そしてそうした吟味は、やがて体系的な誤りや手法上の問題を発見することになる。
そうした吟味の一例は、ロンドン・スクール・オブ・エコノミクスのアルウィン・ヤングがもたらした。最近の論文でヤングは、操作変数法ないしIVとして知られる一般的な実証技法の用法を評価した。IVは因果関係と相関関係を区別するために用いられる。例えば結婚が所得に与える影響を調べたいものとしよう。高所得の人が結婚している可能性が高いという結果を得たとしたら、それが意味することは、結婚が人を裕福にする、もしくは、裕福な人ほど結婚に安らぎを感じる、のいずれかである。どちらが原因でどちらが結果かを見い出すためには、結婚には影響するが所得には直接影響しない第三の要因――例えば離婚法の変更――を見つける必要がある。この第三の要因は操作変数と呼ばれている。
これまでのIVへの批判は、操作変数が弱い場合に専ら焦点を当ててきた。しかしヤングは、操作変数が強力な場合でも測定に多くのノイズを導入することが良くある、ということを示した。そうしたノイズは経済学者の推定の信頼性を簡単に崩してしまい、統計的有意性についての誤った主張につながってしまう。
経済学者がこの問題を普通に無視するというのは、より大きな問題の一部に過ぎない。経済学者は自分たちのデータセットが巨大である振りをするが、実際にはかなり小規模であることが多い。そのため彼らは小サンプルがもたらす問題とトレードオフを無視してしまうのである。

この後ノアピニオン氏は、実証研究の問題点を突いた研究を幾つか紹介した後に、以下のように論説を結んでいる。

So smart people are lining up to take shots at the empirical economics revolution. In the short term, these lessons may well be invoked by those who want econ to revert to a theory-first discipline. But economists will not heed the scattered calls to give up on evidence and go back to being mathematical philosophers. Instead, young economists will see these criticisms and take them to heart. They’ll search for larger data samples, and be more careful with how they report statistical significance. They’ll be more careful with their experiments, and more circumspect about how they generalize from single studies. And the quality of evidence in econ will go up and up.
Skepticism is good, and science should be a process of constant improvement.
（拙訳）
ということで、賢い人々が相次いで実証経済学革命に対して矢弾を放っている。短期的には、経済学を理論ファーストの学問分野に戻したい人たちがこうした批判研究をもてはやす可能性が十分にある。しかし経済学者たちは、実証結果を見捨てて数理哲学者に戻ろう、という散発的な呼び掛けに耳を貸さないだろう。むしろ、若い経済学者たちはこうした批判を見て肝に銘じることだろう。彼らはより大きなデータサンプルを探し求め、より注意深いやり方で統計的有意性を報告するようになるだろう。彼らはより慎重に実験に行うようになり、一つの研究を一般化することをより自重するようになるだろう。そして経済学の実証の質はますます向上していくことだろう。
懐疑主義は結構なことであり、科学は絶えざる改善過程であるべきなのだ。