【翻訳】マーケティング・ミックス・モデリングの批判的レビュー - 誇大広告から現実へ (前編)

はじめに

Acknowledgements

この記事はmc51氏のブログ記事A critical review of Marketing Mix Modeling — From hype to realityを翻訳して紹介します。

記事執筆者の許可を得ています。Thank you!

凡例

• 各種画像は元記事をそのまま引用していますが、なにせ「うわこれは翻訳しないといけない」という衝動が先で、その中身はGoogle翻訳超依存です。
  • 原文の主張を逸脱はしないように最大限考慮しながら、元記事のユーモア(あるいは皮肉)を日本側に寄せるために一部意訳をしている部分があります。
• 原著は主張の根拠として脚注が充実していますが、便宜上インラインのリンクも代用します。具体の引用文がある場合や執筆者のコメントは脚注で表現します。
• 前後編に分けてお届けします
  • 前編では統計学的な批判、後半は実務的な批判と結論を述べます。

文脈

ほとんどの企業は、 多くの場合、その投資のリターンを知ることがないまま、予算の大部分をマーケティングに費やしている。 マーケティング・ミックス・モデリング(MMM)は、マーケティング活動の効果を明らかにする一つの方法として宣伝されてきた。 偶然とは言えないが、これは主にMMMを提唱する利己的な関心を持つ人々によって支えられている。 (なぜか)反対意見はほとんどない。

この記事では、マーケティング・ミックス・モデリングを批判的にレビューし、それにまつわる過大な主張を論破する。そのために、私は 、統計に基づいた強力な議論を展開し、実際の研究を考慮に入れる。 さらに、マーケティング分析に携わるデータサイエンティストとしての私の経験のおかげ、マーケティング・ミックス・モデルの実装に関する幅広い知識を直接得ることができた。 そのため、これらのモデルの実践的な問題点についても掘り下げる。 そのうえで、MMMの人気が根拠のないものであることの理由を提案する。 最後に、MMMプロジェクトに伴う不合理な期待に対処するための戦略をいくつか提示する。

マーケティング・ミックス・モデルとは何か？

マーケティング・ミックス・モデルの目的は、さまざまなマーケティング活動の売上／収益への貢献度を定量化することである。 これにより、企業はマーケティング活動の各チャネルに費用対効果(ROAS)を割り当てる事ができるので、企業はマーケティング・チャネル間の予算配分に不可欠なツールであると信じている *1。 さらに、 証明可能な議論よりも、政治によって決定が下されることが常態化しているマーケティングのプロセスでは、MMMは客観的な尺度として信頼されている。 ソーシャルメディアのトップがこう言うのを想像できるだろうか：

昨年、私たちが会社の成功に与えた影響はわずかでした。 カーダシアン一家を起用した素晴らしいインフルエンサー・キャンペーンを展開したにもかかわらず、人々はトイレットペーパーを多くは買ってくれませんでした。 うちの部署の予算を半分にしたらどうでしょうか？*2

MMMの根底にあるのは、相関関係に基づく統計モデルである。 統計モデルは、過去の時系列データを使用して、いくつかの入力と目的変数との間にある関係を明らかにする。 通常、目的変数は売上高あるいは収益である。 一般に、季節性、天候、マクロ経済状況、競争などのような数多くの要因が「ベースライン」をモデル化するために使用される。 しかし、焦点は「売上増分」として説明できる変数に当てられる。たとえば製品、価格、プロモーションなどである。

ただし、これらよりもさらに重要なのは、マーケティング活動を表す変数である。通常これらの変数は、マーケティングのチャネルごとの広告費やリーチとしてMMMに組み込まれる。 MMMの技術的な実装は様々であるが、多くの場合、線形回帰モデルがベースとな。 マーケティング効果のラグ、キャリーオーバー、飽和を考慮するために、マーケティング活動を表す変数は変換される。 慣例的に、データの粒度は週単位であり（古典的なメディアキャンペーンは長期にわたる）、「十分な」データポイントを持つためには少なくとも2年間のデータが必要である*3。

MMMの論点

マーケティング・ミックス・モデリングには理論的な問題がたくさんあるが、同じくらい実践的な問題も多い*4。 多くの企業が「MMMの導入に成功した」と言っているところも、その事例も、私はまだ見たことも聞いたこともない。 「導入に成功した」とは、そのモデルが恣意的な仮定に基づかない、頑健で一貫した結果をもたらすことで、MMMはこの条件が満たされれば、数百万ドルの予算を決定する際の指針として信頼できるものになるはずだ。

確かに、多くの企業は「我々はMMMから価値を得ている」と主張する。ましてや、絵に描いた餅を約束するようなコンサルタントはなおさら……。 しかし、それらの主張には実質的な根拠派はほとんどない。前者は（特にマネージャーのような）実際のモデリング作業から距離があるために、モデリングに対する適切な理解を欠いた人々によって作られた主張だ。 後者はシンプルに、金儲けのためにそのように主張しているにすぎない。

以下では、MMMの欠点についてひとつひとつ説明していく。

統計学的な論点

MMMは統計学に基づいている。したがって、モデルの背後にある統計学の理論がしっかりとしたものであると自信を持つべきだろう。 少なくとも、ほとんど理に適っていると信じたい。逆にそうでなければ、なぜその結果を信用するだろうか？

残念なことに、これらのモデルを統計学の見地から詳しく見てみると、根本的な欠陥が数多く見つかる。 MMMの分野に投資しているGoogleは、論文の中でこう述べている*5：

MMMは計測のための貴重なツールだが、科学だけではすべての正しい答えを導き出すことはできない。(中略) MMMを形成するためにビジネスの文脈を取り入れることは芸術であり、それはモデルの結果と最終的な提言に影響を与える *6。

図1: 仕事の準備をするGoogleのMMMエキスパート[imgflip]

さぁて、Googleさん、結局のところMMMとは科学なのか芸術なのか問いただしたいんだが？

私は、私は統計学を芸術的であることではなく、より科学的であることを望む。 当然、多くのデータサイエンティストもそうであろう。以降でMMMの統計的欠点を検討する。

因果性の欠落

MMMにおける説明変数と目的変数の関係が実用的であるためには、その間に因果関係が仮定されなければならない。たとえば 広告費が増えることで、より高い収益が得られたという結果が観察されたとする。もしも因果関係がないのであれば、「広告費が増えたから収益が増えた」という主張にはならない。もしかしたら、クリスマスにほとんどのお金を使ったかもしれないし、同じ期間に主要な競合が倒産したかもしれない。このように、意図的に広告費を増やしたとしても、収益には何のプラスにもならないかもしれないし、逆に収益を悪化させるかもしれない。 実際どうなのか、あなたにはわからない*7。

もしあなたがMMMの推定量が因果関係をもつと考えるなら、あなたは多分統計屋ではない[xkcd.com]

MMMの推定値は、その定義に基づけば因果関係とは見なせない。MMMの推定値は観測データに基づいているため、単なる相関関係である。 因果関係を推定するには、これでは不十分である*8。

因果関係を語るとき、我々はランダム化比較試験を避けて通ることはできない。これは非常にシンプルで奥の深い手法であるものの、定期的に無視される。人々は「統計学的には因果関係ではないかもしれないが、近似の1つであるので実質的には因果関係がある」などと主張する。 しかし、本当にそうだろうか？実をいうと、これは、非常に狭い 条件のもとでしか成り立たない ：

1. モデルの全パラメータを推定するのに十分なデータがある。
2. 広告レベルとコントロール変数には有用なばらつきがある
3. モデルの入力は独立して変化する
4. このモデルは、売上に影響を与えるすべての重要なドライバーを考慮している。
5. モデルは変数間の因果関係を捉える

これらすべての項目が十分満たされる可能性はあるだろうか？

ネタバレ注意：実質的にはゼロである。懐疑的ですか？ ご心配なく、ひとつひとつ検証していきましょう。

1. データが限られている

一般的なMMMには2年分の週間データが求められる。3年分あるとラッキーで、最良のケースでデータポイントは156になるので、悪くない量ではある。ただし、これは推定したいパラメータの数に依存する。 非常に大まかな経験則では、線形回帰モデルのパラメータを推定するためには、推定するパラメータ1つにつき10～20の観測が必要である。残念なことに、MMMでは「説明変数は多ければ多いほどいい」というのが鉄則となっている。人々は「現実は非常に複雑であるのだから（これは正しい）、複雑なモデルであれば、現実をより正確に描写することができる」と主張するだろう*9。

この鉄則に従う結果、伝統的な小売企業の典型的なMMMの変数には、少なくとも次のようなものが含まれる：

• 会社が管理する売上に直接影響する要因:
  • 品揃え（幅と品質）
  • 店舗（数、場所、サイズ、特徴）
  • 価格とプロモーション
• 制御できない観察可能な要因：
  • マクロ経済要因（GDP、失業率、インフレ）
  • 競争（量と質）
  • 季節性（休日、季節）
• マーケティングに使用されるメディアチャネル：
  • 所有するチャネル（ソーシャルメディア、ニュースレター、販売時点、SEO）
  • クラシックチャネル（テレビ、ラジオ、屋外、印刷物）
  • オンラインチャネル（SEA、ビデオ、ディスプレイ）

上記の指標すべてを相当に集約したとしても、合計20変数以内に抑えることは難しいだろう。さらにいうと、現実のマーケティング関係者はもっと詳細な情報を求める。「私たちはソーシャルメディアを全く異なる戦略に従って運用しています。TikTok、Instagram、Facebook、Pinterest、MySpaceを区別してモデルに含めるべきです。 また、各チャネルをアクティベーション、ブランド、イメージの部分に分けることはできますか？」と。

20変数ということは、パラメータの推定には200から400のオブザベーションが必要ということだ。 たかだか156個の観測値では到底足りない*10。

Chan, D., & Perry, M. (2017). Challenges and opportunities in media mix modeling, p9

図3. データが限られていることは、MMMの問題の氷山の一角にすぎない[imgflip]

しかし、まだ期待しない方がいい： たとえデータの観測値が多い、あるいは共変量が半分しかないモデルを信じたとしても、これはうまくいかないだろう。 経験則が意味を持つのは、独立した観測値とばらつきがある場合だけだからだ。

2. ばらつきの少なさ

データ中の変数が時間とともにほぼ一定である場合、その相関関係は測定できない。 したがって、MMMにおいて、分析者はすべての変数にばらつきがあることを望む。それもたくさん、さまざまなレベルと時点で。

残念ながら、ほとんどの変数ではこのようなことは起こらない。店舗数は通常、期間を通じてほとんど一定である。マクロ経済的要因も同様に。 しかし、もっと重篤なのは、ばらつきの少なさという問題は、少なくともメディア支出の一部にも当てはまるということだ。 チャンネルの予算は年単位でしか変わらないかもしれない。また、チャンネルによっては、毎週、毎月、同じ金額が使われることもある。その場合売上との相関関係の存在は見込めず、ましてや売上への影響を推定する事ができるはずがない！

さらに、ばらつきが高いだけでは、相関性を測るには不十分で、ある程度の支出額に届いている必要もある。えっ！年間収益が1億ドルで、5000ドルの予算のメディア施策の影響をモデル化しようとしているのですか？ そんな針が見つかるといいですね。

3. モデル入力の相互依存

モデルに入力する変数は独立しているとは限らない。 これには多くの例がある。 分かりやすいものをいくつか挙げてみよう：

• 自社のメディア支出は競合他社の動向に依存する
• クリスマスシーズン中のメディア支出ははるかに高くなる
• マーケティングキャンペーンは、メディアチャネルを組み合わせて使用することを意味する
• プロモーションは広告によって支援される

少なくともあと10個は思いつくだろうが、上記を挙げればモデルへの入力変数が相互に依存していることを理解するには十分だろう*11。

図4. 企業広告の広告支出は競合の活動に依存する。逆もまた然り。[imgflip]

もしある企業が、主要な競合他社もテレビ放映費を増やしているのに対抗して、常にテレビ放映費を増やしているとしたら、この2つの売上への影響をどう切り離せばいいのだろうか？ 不可能だ！ これは真に独立に観測された変数を含むデータがなければできないことだ。その結果、マーケティング担当者を説得して、1年を通してランダムにテレビ広告にお金を使い始める必要がある。それを実現したらどうなるか私に教えてくれ！

4. 売上に影響を与えうる未観測、あるいは観測不能な要素

Statistics 101を覚えていますか？ 記憶を呼び起こそう：

統計学において、省略変数バイアス（OVB）は、統計モデルが1つ以上、関連する変数を除外した場合に発生する。 このバイアスは、モデルが欠落した変数の効果を、含まれている変数に帰属させることになる

信頼できる結果を得たいのであれば、我々はモデルの仕様を正しく定式化する必要がある。 つまり、売上に影響を与える可能性のあるすべての要因をモデルに含める必要がある *12 。

つまりは、事実上無限にある選択肢の中からモデルに使う20以上の変数を選ぶときには、細心の注意を払った方が良い。 しかし「MMM信者」は驚異的なデータサイエンティストでもあるので、彼らはすでにホワイトボードに因果関係のグラフモデルを描いている。 次に、彼らは因果グラフを描いただけで、モデルに「理論的基礎」ができたと思い込んでしまう。

図5. 欠落変数バイアスがあなたを泣かせないなら、あなたはデータサイエンティストじゃない [imgflip]

結局、彼らのモデルの定式化は疑う余地もなく正しいのだろうか？ そうとも言い切れない。 1.「データが限られていること」に記載したリストを覚えているだろうか？ 私は細かなことを省いてしまっていた。 売上に影響を与える要因には、測定不可能なものがある。 最悪、観察できないことさえある *13。

考察：文化的傾向、暗黙の嗜好、将来への期待、その他多くの心理的要因。 それでもまだ、彼らのモデルの仕様が十分に信頼できると思いますか？

5. 相関の強い入力データ

ホワイトボードに描かれた因果グラフィカルモデルに戻ろう。当然のように、説明変数と目的変数の関係だけでなく、すべての変数の間にある関係もマッピングされているはず。ですよね？ もちろんマーケティングにおけるファネル効果や、チャンネルが互いに影響し合うということは誰もが知っているのだから！   例えば、テレビ広告は直接的にだけでなく間接的にも売上を伸ばす。 なぜなら、有料検索（SEA）の数も増えるからである。統計用語では、多重共線性は重回帰分析の説明変数間に相関が存在している状況を意味する。 多重共線性はモデルの予測力自体に影響しないが、「個々の予測変数について、あるいはどの予測変数が他の予測変数にと重複しているかについて、意味のある結果を提供しないかもしれない」。

これを言い換えよう： 説明変数の間に強い相関があるということは、それを用いたモデルの回帰係数を信用できないということ。 そして、そのモデルは物事を説明するのに適していないということだ*14。

このことを受け入れる代わりに、私は人々がこう言うのを目にする： 「大したことじゃない、この些細な厄介ごとを考慮するために階層モデルを使えばいいんだ！」

図6. 複雑さの裏に欠陥を隠すのはとても簡単なことだ [imgflip]

潜在的な懐疑論から身を守るために、彼らはこの複雑さのベールを使っているのだ*15。

幸運(同時に不運)なことに、これはしばしばうまくいく。 特に「細かいこと」を気にしない上層部を黙らせるためには。しかし、彼らも心の底では、単に複雑さを上乗せするだけでは根本的な統計的問題を解決できないことを知っている。 基本的なモデルに当てはまるような問題は、「改良された」モデルにも同様に当てはまる。そして「理論的に確立されたモデル」の定式化が現実を捉えることができる確率はすでにゼロに近かったが、その可能性はさらに減少した。

この特定のケースについて多重共線性の問題を解決"できたとして"、 他のケースはどうでしょうか？： 基本的に、すべてのメディア変数の間には高い相関関係があるだろう。 これは勝ち目のない戦いだ。

因果関係における結論

上記で私が述べたように、MMMで因果的解釈を行うために必要な条件を満たすことができると述べている各論に大穴をあけることができる。簡単に言えば「事実上因果関係がある」というソースは、単に「信じろ、兄弟」である*16。

図7 MMMコンサルより、こいつを信用したほうがいい

これでは話が終わってしまうかもしれない： 因果関係を明らかにできないモデルでは、マーケティングの利益に対する効果を理解することはできない。結果的にそのようなモデルは目的を失っている。 そんなモデルにはもはや何の価値もない。

死体蹴りはマナー違反であることは知っている。 しかし、業界におけるMMMの適用にはもっと多くの問題があるので、死体蹴りせずにはいられないのだ。

メディアの恣意的なモデリング

メディアの効果が直線的であると仮定しているのは、最も単純なMMMだけである。その代わりに、広告費は変換されなければならないというのがコンセンサスのようだ。しかし、どのような変換が必要なのかについて、合意は得られていない。実際のところ誰も知らないからだ。 しかし、多くのモデルでは収穫逓減・飽和とラグ・キャリーオーバー効果を考慮している。 前者は、チャンネルに費用を費やせば費やすほど、得られる追加効果が少なくなることを反映している。 つまり、いずれ効果がゼロになるような飽和点に達することを意味する。 後者は、広告が直接的な効果(だけ)をもたらさないという仮定である。たとえば今日広告を見ても、その商品は数日後にショッピングモールに行くときにしか買わないかもしれない。この変換の背後にある直感は合理的に思えるが、統計的な観点から見ると、さらなる問題が生じる。

メディア変数に適用可能な変換は数多くある。それぞれ少なくとも1つ以上追加で推定すべきパラメータが必要である。どのパラメータを使うかについては、2つの選択肢がある：

1. 専門家の意見（通常はコンサル企業）や「文献」を信頼して、あらかじめ設定された値を使用する。
2. 入力された推定値に加え、データからパラメータを推測する。

1つ目の選択肢は悪手であることは明白だろう。これは単なる当てずっぽうと大差ないからだ。結局のところ、文脈は重要であり、MMMでは多くの文脈を考慮しなければならない。このことを推測したいのであれば、素直にモデルの結果がどうなるかを推測すればいいじゃないか。 少なくとも時間は節約できる。

だからといって、2番目の選択肢が良いとも言えない。限られたデータという根本的な問題を思い返してほしい： 我々はすでに、多すぎるパラメータに対して少なすぎる観測データしかもっていない。 モデル仕様にさらにパラメーターを追加することは、これを悪化させるだけだ。

結局、どちらのオプションに基づく変換でも、そのパラメータ値は恣意性を持つ。 そして、モデルに投入されるメディア値も恣意的になる。 結果的に、モデルの結果も恣意的なものになる。

後編へ続く

*1:ROASの定義についてはJin, Y., Wang, Y., Sun, Y., Chan, D., & Koehler, J. (2017). Bayesian methods for media mix modeling with carryover and shape effects. のp8を参照

*2:この例を作るために自分で色々なこと考えたんだが、現実に本当に起きているとは思わなかった

*3:より詳細な導入はこちらが詳しい。

*4:MMMを実施するうえでの課題について簡潔に記載された記事も併せて紹介する。本記事ではこの議論を深堀りする

*5:Marketing mix models are based in science, but also need a touch of artを参照

*6:MetaもMMM領域で大きく関わっているが、Googleに同意見のようだ。「MMMの研究は複雑であり、さまざまなビジネス状況やさまざまな企業を反映するモデルを正確に選択するために、少数の統計パラメーターを使用できるとは考えていません。」

*7:「しかし、これは因果関係なのだろうか、それとも単なる相関関係なのだろうか？(中略)広告キャンペーン後に売上が増加した要因を、特定のマーケティング努力の原因とみなすにはどうすればよいか？――他のチャネルがあるチャネルの効果を高めたのかもしれないし、あるいは他の影響によるものかもしれない。」 Pandey, S., Gupta, S., & Chhajed, S. (2021). Marketing Mix Modeling (MMM)-Concepts and Model Interpretation. Sandeep Pandey, Snigdha Gupta, Shubham Chhajed

*8:実験ができない場合、マーケティング・ミックス・モデリングやデジタル・アトリビューションのような観察データを使う手法に頼らざるを得ない。 このような測定手法は、必ずしも因果関係の推定に適しているわけではない［...］。 Pandey, S., Gupta, S., & Chhajed, S. (2021). Marketing Mix Modeling (MMM)-Concepts and Model Interpretation. Sandeep Pandey, Snigdha Gupta, Shubham Chhajed., pp791.

*9:「大規模なシミュレーション研究によれば、このモデルは大規模なデータセットでは十分に推定可能であるが、典型的なサンプルサイズである数年分の国民レベルの週次データでは、偏った推定値が得られる可能性がある。」（ Jin, Y., Wang, Y., Sun, Y., Chan, D., & Koehler, J. (2017). Bayesian methods for media mix modeling with carryover and shape effects. ）, p28.

*10:「MMMにとって最も困難なデータの限界には、3つの側面が含まれる：入手可能性、スパース性／メッセージ性、限られた範囲と量。 低品質なデータに特効薬はない。」 Marketing Mix Models 102 — the Good, the Bad, and the Ugly

*11:「より大きな問題は、多くの重要な変数が、広告主自身の広告選択によって決定される可能性があるということである。」, Chan, D., & Perry, M. (2017). Challenges and opportunities in media mix modeling, p9

*12:「MMMによる選択バイアスは、おそらくMMMが広告効果の有効な推定値を提供する上で最大のハードルとなる。 選択バイアスは、入力されたメディア変数が観察不可能な需要変数$d_t$と相関し、それが売上に影響するときに発生する。 この変数$d_t$が回帰モデルから省略されると、そのモデルは、売上の増分要因がメディア・チャネルによるものか、基礎となる需要によるものかを区別することができない。」 Chan, D., & Perry, M. (2017). Challenges and opportunities in media mix modeling., p8

*13:「従来のマーケティング・ミックス・モデルは、しばしば有形要素を知らせるために使用されるが、2つの重要な側面が欠けている。 第一に、無形資産の役割を無視している。」Cain, P. M. (2014). Brand management and the marketing mix model. Journal of Marketing Analytics, 2(1), 33-42.

*14:「線形回帰モデルをフィッティングする際、相関の高い説明変数は、高い分散を持つ回帰係数を推定してしまう可能性がある。 これは、広告チャネルへの売上の悪い貢献につながる可能性がある。（中略）もう一つの帰結は、推定された関係性が、データの小さな変化や、モデル内の見かけ上無関係な変数の追加や削除によって大きく変わってしまうことである。」 Chan, D., & Perry, M. (2017). Challenges and opportunities in media mix modeling, pp.6

*15:「実務において、広告の効果をすべて把握できるように、完全に統合されたモデルは非常に複雑で、膨大なデータを必要とする。分析者が特定の効果だけに焦点を当てたい場合や、データが十分に豊富でない場合は、使用するモデルを単純化して、最も注目したい効果だけに焦点を当てたいと思うかもしれない。」Pandey, S., Gupta, S., & Chhajed, S. (2021). Marketing Mix Modeling (MMM)-Concepts and Model Interpretation. Sandeep Pandey, Snigdha Gupta, Shubham Chhajed. , p791

*16:訳者注：元記事では"Trust me, bro"。