「仮説ドリブン」という名の甘いç½

今回の記事では、ちょっと感覚的でふわっとした話をしようと思います。それは「『仮説ドリブン』という考え方には往々にして落とし穴があるのではないか？」という問題提起です。

そもそも、「仮説ドリブン」（仮説駆動型：hypothesis-driven）というアプローチは実験科学分野出身の我が身にとっては、個人的には馴染み深いものです。まだ僕がポスドクだった頃、国際会議に際して日本人研究者同士で集まる会が毎回あったのですが、その席上でお話を聞く機会があった当時のトップ研究者の先生から「この世の森羅万象は網羅しようとするにはあまりにも広大過ぎる、故に森羅万象を区切って『仮説で白黒つけられる範囲』に絞り、これを検証するということを繰り返して前に進むべき」ということを聞かされ、感銘を受けたのを覚えています。

実際、仮説ドリブンの考え方は非常に有用なものであり、今現在僕自身が主戦場とする広告・マーケティング分野でも近年は広く援用されています。それこそA/Bテストのようにズバリ仮説検定の枠組みで効果検証を行うケースもあれば、もう少し緩やかに「〇〇という仮説をもとにして」調査分析を展開していくというケースもあり、日々の仕事でも「仮説」という単語を聞くことは多いです。

しかしその一方で、「仮説を定めてその真偽を検証する」という枠組みは「結果の分かりやすさ」という点では優れているものの、当たり前ながら「仮説を設けた範囲の外側のこと」が分からないという課題も抱えます。そこで、今回の記事では「仮説ドリブン」というアプローチが裏目に出るパターンを概念的に定義した上で、それが実務においてどのような表れ方をし得るかを考察してみようと思います。

無意識のうちにcherry-pickingしているケース

ある意味最も典型的なのが、仮説検証「しやすい」サンプルないしデータセットを取ってきて、これを検証した結果例えば「AとBとではAの方が上回っている」というような結論が出て、それをもとに「仮説ドリブンな意思決定がされた」とみなして物事を進めてしまう、というパターンです。

しかし、全体像を見たら実は上図のような構図であり、サンプルだけ見ると「A > B」だが実際には「A = B」とか「A < B」とかだった……という事例は枚挙に遑がありません。例えば基礎研究の世界であれば、僕自身の古巣だった心理学・認知神経科学分野では深刻な再現性問題に発展しています。

要は「仮説を証明さえ出来ればOKなのだから、その検証に必要そうなサンプル（データセット）さえ集まれば事足りる」という安易な姿勢が、無意識のうちに*1「自説に都合の良い少量のサンプルだけ集めれば良い」という近視眼的なアプローチに繋がってしまったということですね。

これは僕が主戦場とする広告・マーケティング分野でも決して珍しい話ではなく、例えば消費者パネル調査などで検証条件を絞り込んだ結果として、様々なバイアス*2によって意図しないうちにかなり限られた範囲のサンプルしか得られていないにもかかわらず、そこで得られた知見をあたかも「全ての消費者に共通する傾向」として捉えてしまい、そのインサイトに沿った施策を打ってみたら全く効果がなかった……という話があったような無かったような。

手近に見える範囲のことから分かるのはあくまでも手近な範囲のことであり、全体像を正しく捉えられているとは限らない、というわけです。木を見て森を見ず、ということにならないように気をつけたいものです。

検証すべき「軸」が他にもあることに気付かないケース

もう一つは、ある特定の「軸」でのみサンプルないしデータセットを評価しただけで結論を出してしまい、他の「軸」があり得ることを想定していないというパターンです。

上図はあくまでも概念図ですが、手に入ったサンプルやデータセットを定番の軸（ここではx & y軸）に沿って分析してみたところ「AとBとは互いに同質で差がない」という結論に至ったとしましょう。しかし、別の軸（ここではz軸）から見たら実は明確な差があった……というケースを想定しています。

流石に一般的なサンプリング調査でここまで露骨な分析軸の見落としをやらかすケースは多くないように思いますが、そうでない市場反応モデル系の分析では割と少なくないように見受けられます。例えば、eコマース商品の「クリック率」には広告の影響は殆ど見られないように見える一方で「（クリックからの）コンバージョン率」には実は影響があったとか、市場反応モデル系のマーケティング分析*3を想定して分析プロジェクトを立案しデータセットも集めたが、実際には「刺激→反応」型のパラダイムに沿わない確率的な生成過程にKPIが従うため*4、別のアプローチで臨むべきだったといったような話があったりします。

これは広告・マーケティング分野に限らない話だと思いますが、新規に得られたサンプルやデータセットに対して「定番」の調査や分析を適用する際は、どうしても「定番の軸」からのみアプローチしてしまいがちなんですよね。改めて自戒したいところです。

コメントなど

ふわふわした議論や喩えばかりで分かりにくかったかもしれませんが、僕が言いたかったことが幾許かでも伝われば幸いです。

……ちなみに何でこんな話を唐突に書いたかと言いますと、要は「仮説ドリブンで考える」というモットーが往々にして「自分の見たいものを見たいように見て、見えた範囲の中で整合性が取れていればそれが普遍的な真実だと認識してしまう」という行動に繋がりやすく、実際にそういう帰結に至っている人や組織が散見されるからなんですね。

これは言うまでもなく「自身が定めた仮説」へのoverfittingそのものであり*5、果てはある種の視野狭窄や最悪の場合陰謀論にハマる危険性を秘めており、結果として深刻な迷走状態に陥ってしまうというケースもあるようです。今回はあくまでも僕が主戦場とする広告・マーケティング分野に絞って論じましたが、もっと一般的な「個人としての」世界認識や情報の理解といった点でも気をつけたいものです。改めて自戒を込めて（今回はこればっかり）。

*1:意図的にやっていた人々も存在するようですが

*2:代表的なものとしては生存バイアス

*3:MMMなど

*4:LTVに関するPareto/NBDモデル的なものをご想像あれ

*5:全体像としての真実よりノイズに適合するという意味で