経済モデルが予測できないのはモデルではなくデータの問題？

ノアピニオン氏がブルームバーグ論説で、経済学者が大不況を予測できなかった、という問題を取り上げている。

Macroeconomists typically respond that forecasting isn’t their job. The economy has all kinds of things going on at any given time, they say -- too much randomness and noise to allow a reliable forecast. The best they can do, macroeconomists will say, is to predict the effects of specific policies.
This defense is weak. If the economy is dominated by random noise, that noise will also permeate the data that is used to validate macroeconomic models. If forecasting is impossible, then picking the right policy-evaluation model will also be impossible. Also, the inability to forecast is often a clue that a model is just plain wrong.
So forecasting actually is important, and macroeconomic models are bad at it. There’s even a whole line of research dedicated to showing just how bad even the most advanced models are at predicting things like output and inflation.
（拙訳）
マクロ経済学者は、予測は自分たちの仕事ではない、と反応するのが常である。経済ではいつでもあらゆることが起きており、信頼できる予測をするにはランダム要因とノイズが多すぎる、と彼らは言う。彼らにできる最善のことは、特定の政策の効果を予測することである、とマクロ経済学者は言う。
この抗弁は説得力に欠ける。もし経済がランダムなノイズによって支配されているならば、そのノイズはマクロ経済モデルの有効性を確認するのに使われるデータにも蔓延しているはずである。もし予測が不可能だというならば、正しい政策評価モデルを選択することもまた不可能ということになる。加えて、予測ができないことは、モデルが単に間違っていることを示している場合が多い。
従って予測は実際のところ重要であり、マクロ経済モデルはそれが上手くできない。最も先進的なモデルですら生産やインフレといった項目の予測がとにかく如何にできないか、ということを示すのに特化した一連の研究さえ存在する。

そうした研究例としてノアピニオン氏は2編の論文を挙げている。そのうちの一編では、DSGEと単純なARの予測の成績を比較したところ、どっこいどっこいであったという*1。また、もう一編では、予測技法を発達させた様々なモデルを、複数の先進国の生産とインフレという2項目の予測について比較したところ、予測期間の長さと変数によって予測精度の高いモデルが入れ替わり、団栗の背比べという結果に終わったという*2。これは予測精度は主に運によることを示しており、幾つかの予測期間でDSGEが勝利を収めたのもたまたまであろう、とノアピニオン氏は言う。しかもここでも単純なARモデルが複雑なモデルと互角に渡り合っており、予測期間が長くなるとむしろAR有利になっていったという。さらに…。

What’s more, adding more than a few predictors doesn’t really improve forecasts. That’s discouraging, because it means that macroeconomic data just doesn’t have much useful information in it. The old Wall Street joke that “all financially useful data costs money, which is why macro data is free” seems to hold true.
All this adds up to a pessimistic conclusion -- recessions just aren’t very predictable from economic data. The reason economists couldn’t foresee the Great Recession isn’t that they’re blinkered or closed-minded or arrogant or stupid -- it’s because no one could predict it, at least not with the kind of macroeconomic data that now exist.
That in turn implies that much of macroeconomics itself, as currently practiced, is a dead-end pursuit.
（拙訳）
その上、予測用の変数を数多く*3加えても予測結果はあまり改善しなかった。これは、マクロ経済データはあまり有用な情報を含んでいない、ということを意味しており、失望させられる結果である。「金銭的に有用なデータはすべて費用が掛かり、それがマクロデータが無料である理由だ」というウォール街の昔からのジョークは真実であるように思われる。
以上のことを考え合わせると、そもそも景気後退は経済データから正確に予測できるものではない、という悲観的な結論が出てくる。経済学者が大不況を予見できなかったのは、彼らの視野や了見が狭かったためでも彼らが傲慢もしくは愚かだったためでもなく、少なくとも現在存在する類のマクロ経済データでは誰も予測できないから、というわけだ。
そうなると、現在追究されているマクロ経済学の多くは先のない研究である、ということになる。

ただノアピニオン氏は、自分はまだそこまでは悲観的になっていない、と付け加えている。そして、マクロ経済指標ではなく金融市場の指標を使うことによって事態を改善する、という方向性に望みを見い出している。

*1:Refet Gurkaynak、Burcin Kisacikoglu、Barbara Rossi「Do DSGE Models Forecast More Accurately Out-of-Sample than VAR Models?」（2013）。

*2:Andrea Carriero、Ana Galvao、George Kapetanios「A comprehensive evaluation of macroeconomic forecasting methods」（2016）。その論文で比較対象としたのは、Factor-Augmented Distributed Lag（FADL）モデル、Mixed Data Sampling（MIDAS）モデル、Bayesian Vector Autoregressive（BVAR）モデル、および中型のDSGEモデルで、ベンチマークとして単純なARモデルを使用。

*3:論文によると100個程度。