【翻訳】マーケティング・ミックス・モデリングの批判的レビュー - 誇大広告から現実へ (後編)

はじめに

前編はこちら

Acknowledgements

この記事はmc51氏のブログ記事A critical review of Marketing Mix Modeling — From hype to realityを翻訳して紹介します。

記事執筆者の許可を得ています。Thank you!

凡例

• 各種画像は元記事をそのまま引用していますが、なにせ「うわこれは翻訳しないといけない」という衝動が先で、その中身はGoogle翻訳超依存です。
  • 原文の主張を逸脱はしないように最大限考慮しながら、元記事のユーモア(あるいは皮肉)を日本側に寄せるために一部意訳をしている部分があります。
• 原著は主張の根拠として脚注が充実していますが、便宜上インラインのリンクも代用します。具体の引用文がある場合や執筆者のコメントは脚注で表現します。
• 前後編に分けてお届けします
  • 前編では統計学的な批判、後半は実務的な批判と結論を述べます。

前編のまとめ

• MMMはビジネス場面でよく使われるが、統計学の観点から見ると欠陥だらけである
  • データの量が少ない割に、推定すべきパラメータが多い
  • データのばらつきが少ない
  • 変数間の相関が強い

実務的な論点

マーケティング・ミックス・モデリングの有用性の主張は、統計学の理論から見れば、とすぐに破綻することがあきらかになった。 しかし、もしそれを見過ごすほど無知な人がいるとしたらどうだろう？ その場合でも、現実的な問題が山積しているので、MMMの誇大広告を信じないよう説得する必要があるだろう。

低いデータの質

統計モデリングについてこんな格言がある： 「ゴミを入れればゴミが出る」。 入力データがゴミなら、モデリング結果もゴミになる。 データは質・量共に重要なのである。では、マーケティング領域のデータの品質は、「平均的」にどの程度マシなのか？ それは悪さ程度が違うだけで、多くの場合、最悪だ。

図8 どちらがフィリピンのゴミ箱で、どちらがマーケティングデータでしょう？[imgflip]

ほとんどのマーケティング部門にとって、データ品質は優先事項ではなく、後回しにされている。 単に、データの品質向上は、マーケティング部門の評価対象ではない。また、ほとんどのマーケティング担当者はあまり技術やデータに精通していないため、余計に問題が大きくなる。カラフルだが書式の悪いエクセルファイルがそこらじゅうにあることを想像してほしい。MMMのためにデータを集めなければならなかった哀れなデータ・サイエンティストにインタビューしてみてほしい。 そのデータサイエンティストはPTSDを引き起こすだろうが、データが以下のような状況であることの証人となってくれるだろう：

• 構造化されていない
• 中央集権化されていない
• 一貫性がない
• 不正確
• 未完成
• 欠損している

多くの場合、上記のすべてである。これに対処するために、データを収集する際に多大な労力を必要とする。しかもこれらの問題のいくつかは修正することができる。しかし、全体的に見て、データセットはクリーンでも、完全でも、正しくもないので、いずれにせよ無駄骨である *1 。

……ゴミの匂いがしてきませんか？

測定の不正確性

前編で述べたように、MMM の推定には数多くの入力変数が必要である。 それらの多くについては、良い尺度がないか、または尺度がインプットによって大きく異なるかのどちらかである。 マーケティング・チャネルに注目しよう。 理想的には、特定のチャネルで何人にリーチしたかをモデルに入力したい。 結局のところ、より多くの人が広告を見れば見るほど、売上が伸びる可能性が高くなる。 オンライン・チャンネルの場合、これは可能だ。 パブリッシャーはこれらの指標を追跡することに長けている。 YouTubeやTikTokの再生回数をエクスポートして、それをモデルに差し込むことができる。 しかし、ビューはビューではない。

インプレッションの定義はパブリッシャーの都合で変わりうるだけでなく、時とともに変わるかもしれない。 たとえばTikTokのインプレッションは、その会社の広告が表示された人がすぐにスキップした場合であってもカウントされるかもしれません。一方でYouTubeでのインプレッションは、その人が5秒間広告をスキップしなかった場合のみカウントされるかもしれない。さらにマスメディアの場合、リーチの（正確な）数字すらわからない。 このため、通常、広告費はチャンネルのリーチの代理として使われる *2 。

確かに、これでチャネル間でApple to Appleの比較に近づいている。しかし、これでは問題を先送りにしているに過ぎない。支出に対して得られる利益は時間とともに変化する。クリック単価を下げれば、同じ費用でより多くのクリックを得ることができる。また使用する広告の質や種類も当然関係する。粗悪な広告と優れた広告に同じ金額を使っても、結果が大きく変わる。しかし、このような微妙な違いに関する情報は、支出の集計値をモデルの入力として使用する時点で失われるため、モデルはこうした違いを評価することができない。 結局、モデルがもたらす結果は現実を反映できていない状態になる。

不安定なデータ

これも前編で述べたが、MMMには安定した数年分の履歴データが必要である。しかし、マーケティングのペースは速く、物事は常に変化する。

ある会社は昨年までTikTokを知らなかったので、2年分のTikTokデータが存在しないかもしれない。 SEAチャネルは3年前、Googleのクリック最適化にお金をかけていたが、2年前、インプレッションの最適化が決定された。さらに去年には、この決定は覆ったが、それは一部のキャンペーンに限られるものだった。テレビはイメージ施策にのみ使われていた。数カ月前、新しいトップがプロモーションに重点を移し始めるまでは。

……この先が見えるだろうか？ マーケティングはほとんど安定していない。特に、オンライン・チャネルがあらゆるビジネスで大きな役割を果たしている今日では。しかし、不安定なのはマーケティング戦略だけではない。 チャンネル自体も常に変化している。若者はもはやテレビを見なくなった。 フェイスブックのアクティブユーザーは団塊の世代だけだ。新しいソーシャルメディアアプリは生まれては消えていく（Clubhouseを覚えているだろうか？）。マーケティングデータと安定性の要求は相性が悪い。 しかし、それだけではない。 世界的大流行が起こり、すべてがひっくり返る。 Covid-19の最初の年に観測されたデータが、その前年と比較できるものであることを論じるのは難しい。 あるいは、それを使って翌年を推定することもできる *3 。

MMMには、変化に満ちた世界で安定したデータが必要である。 Pandey et alらはこの点を次のようにまとめている：

フェイスブックのようなビッグテックでさえ、長年のデータに基づいて意思決定するという古いプロセスはもはや時代遅れだと認めている。(中略)今日の環境において、最大の問題のひとつは、安定したデータが存在しないことだ。 今日、私たちは、常に進化し、変化し続けるデジタル・チャネルを複雑に抜き差ししている。

非現実的な期待

MMMの導入には、長い時間とコストがかかる。 そのため、このようなプロジェクトの投資対効果には大きな期待がかかる。 リーダーは、チャネル間のマーケティング資金をより効率的に配分するツールを手に入れることを期待している *4 。

さらに悪いことに、この期待にはモデルに何ができ、何ができないかについての無理解を伴っている。 MMMを要求する上層部の何人が、モデルを理解することはおろか、上述した統計的限界について気にかけているだろうか？

図9. MMMを生業にするデータサイエンティストに安息のときはない [imgflip]

モデルを構築する責任を持つデータサイエンティストにとって、これは必然的にその非現実的な期待に応えるプレッシャーにつながる。失敗は許されない。決して良い立場とは言えない。さらに、人々はモデルの結果がどのように見えるべきかについて強い、そして大きく異なる信念を持っている*5。 データサイエンティストはこの影響から逃げられないし、それがデータサイエンティストのアプローチに偏りをもたらす。したがって、客観的かつ公平な専門家である代わりに、彼らは手を抜くことを厭わないでしょう。キャリアが人々の非現実的な期待を満たすことに依存している場合、明らかな方法論的欠陥を無視するのは簡単だ *6。

明らかに、これはデータに基づいた最良のモデルではなく「ビジネスに受け入れられる可能性が最も高いモデル」の構築につながる。「良い仕事」をすることは、最も影響力のある人々が既に持っている期待を実現することを意味する。これにより、モデル構築の取り組みは不条理なものとなる。

モデル選択の恣意性

これまで見てきたように、マーケティング・ミックス・モデリングには、理論的にも実践的にも大きな曖昧さがある。 このため、信頼できそうにみえるモデルを考え出す唯一の方法は、膨大な数の反復を実行することである。 そのためには、インプットとパラメーターの組み合わせを無限にテストし、その結果が「正しい」かどうかを判断する必要がある *7 。

もちろん、いくつかの統計的評価指標（例えば、R²、平均2乗誤差など）を考慮に入れることもできる。しかし、それらはモデルの予測能力を評価するためのもので、「説明力」を評価するためのものではない。 したがって、モデルの選択は常に恣意的なものとなる*8。

図10. 正しいMMMを選ぶより、VSCodeのテーマ探しのほうが大変だ [imgflip]

もっと説得力が必要かな？ 最も人気のあるMMMツール のドキュメントが何を言っているか見てみよう：

複数のモデル候補に直面したとき、より「もっともらしい」モデルを好むことが一般的である。これは、多少精度が劣っても、現在の支出配分とより良く一致するモデルを意味する (中略)これは、科学と技術の間で頻繁に引用される対立だ。*9。

これらの推奨事項がいかに率直であるか、深く考えると本当に感心する。基本的に重要なのは、モデルの結果が事前に期待されていたものに十分に近いかどうか、つまり「もっともらしく」見えるかどうかである。述べられているように、これは科学とは何の関係もなく、むしろ自分の結果を「作り上げる」ことと大きく関係する。

なぜ未だにMMMは有名なのか？

ここまでくれば、MMMは通常、時間と資源の無駄遣いであることを、もう確信しているはずである（もしあなたが確信できていない場合は、今後の貴殿のさらなるご活躍をお祈りいたします）。 ではなぜ、MMMの有効性がいまだに信じられているのだろう？

企業は従来より「データドリブン」な意思決定に向けて努力する。しかし、マーケティングの貢献度を評価できないことは、彼らにとって大きな盲点である。特に、マーケティング費用は、企業の総予算の大部分を占めることが多いからだ。その結果、企業は「救済策を提供できる」と主張する人なら誰でも受け入れる。

加えて、政治的な動きもある。 特にCMO（マーケティング部門のマネージャーも同様）には、マーケティングに費やされる巨額の費用が有益な投資であることを証明しなければならないという責任がある。明らかに、MMMは儲かる仕事であり、コンサルタント会社は喜んで飛びつく。彼らは、自分たちが提供できるものについて、誇張され、そして非現実的な主張を手段を問わずアピールする。そうすることで、自分自身と自分の組織を証明しようと躍起になっているCMOの開かずの門を叩くのだ。 幸いなことに、これはマーケティングを良く見せるために確実に成功する命令である。

図11. なぜお前はお前自信を評価しないんだ？[imgflip]

しかし、MMMが提唱されるのは、必ずしも上からの圧力だけではない。マーケティングアナリティクスチーム自体もその片棒を担ぐことがある。マーケティング部門と同様、彼らもビジネスへの貢献を証明する必要がある。そのため、マーケティングの最も基本的な疑問、つまり広告のリターンとして得られたものは何なのかという疑問に答えることは相当に説得力がある。 これは、アナリティクス業界における誠実さの欠如がさらに拍車をかけている。

MMMから「真の価値を引き出せなかった」という批判的な声や話は、公の場では見られない。それどころか、マーケティング会議やLinkedinの投稿には、MMMを使うことの重要性を強調する成功談が散見される。ユーザーレベルのきめ細かな測定という選択肢がますます難しくなっている（トラッキング防止が増加している）という事実が、企業の焦りを助長している*10。

近年、この話題はGoogle と Metaの貢献によって大きな支持を得ているが、これは両社が自社のチャネルの貢献度の「定量化」を通して、顧客のマーケティング部門を支援することで、自己利益を保有している。

そのようなペテンに対抗する手段の1つは、懐疑主義的な見方と、方法論的な知識を適切に組み合わせる能力である。 残念ながら、ほとんどの意思決定者には少なくとも後者が欠けている。 その結果、前述のような要因が分析リーダーのFOMOを助長している： 「みんながやっていて、素晴らしい結果を誇っている。我々が遅れを取るわけにはいかない」

MMMが無駄な努力であることに最も気づきやすいのは、モデル に取り組んでいる実務者である。 MMMプロジェクトの過程で、最も自信のある者でさえ、実現可能性に幻滅するだろう。しかし、そのことを口に出すことはまずないだろう。 期待された結果（「非現実的な期待」を参照）を出せない、あるいは出すことをためらうということは、無駄な努力に対して意見する美徳ではなく、個人の失敗と解釈されるかもしれない。 リーダーたちは、これを影響力のある多数の「専門家」に反論する、一人のデータサイエンティストの意見と見なしたくなるだろう。ほとんどの実務家がその戦いから身を引こうとするのも無理はない。

どうしたらいい？

結局のところ、マーケティング効果を定量化する必要性と、MMMではそれができないという二律背反にどう対処すべきだろうか。シンプルな答えは「MMMにリソースを浪費するのをやめて、代わりに価値の証明されている分析業務に集中すればよい」のである。しかし、上記で論じたように、多くの企業は不合理さのためにこの道を歩んでいない。では、どうすればこの状況を改善できるのだろうか？ 当然ながら、関係者が内省する意思があれば可能である。その場合、それぞれのビジネスの役割に応じたアドバイスができるだろう。

リーダー

MMMのサクセスストーリーに直面したとき、リーダーはより懐疑的になる必要がある。 主張の背後にある潜在的な動機を見極める必要がある。 保証された結果を約束するコンサルタント会社は、本当に信頼できるのだろうか？ 自分の会社でのMMMの成功を自慢するマーケティング会議の講演者は、自分の知識を分かち合うことに興味があるのだろうか？ それとも、自分自身や自分のビジネスを宣伝するためにステージを利用しているのだろうか？GoogleやMeta、その他のパブリッシャーは、企業がマーケティングのROASを発見する手助けをすることに本当に興味があるのだろうか？ それとも、意思決定者に何があろうと自社のチャネルにお金を使い続けられるようにしたいのだろうか？ その一部は、批判的思考によって達成することができる。

しかし、このテーマは複雑であり、完全に把握するには方法論的な専門知識が必要である。その結果、意思決定者は社内の専門家に頼り、自分の直感よりも彼らの助言を信頼しなければならない。 そのためには、専門知識や正論が年功序列や肩書きに優先する風土が必要だ。 批判的な声を上げるためには、リーダーシップがそのような環境を醸成する必要がある。 残念ながら、多くの職場は政治にまみれ、人々は会社にとって最善のことよりも自分のキャリアを優先する。 偶然にも、そのような場所には、MMMという宗教的な信念を持った人がいるものだ。

分析実務家

ひとたび上層部がMMMを要求する方針を固めれば、分析担当者は簡単に窮地に追い込まれる。 リーダーシップがすでにMMMを良いアイデアだと確信している場合、物事の流れを変えるのは微妙であろう。 というのも、前述したような非現実的な期待があるからだ。

図12 友人は友人に彼らのMMMプロジェクトがどうなったかは問わない

そうならないためには、初期の意思決定プロセスに立ち会い、そこで率直に懐疑的な見方を共有できる必要がある。 技術者でない人々にも理解できるような形で懸念を表明することが最も重要だ。 残念なことに、MMMプロジェクトの依頼を避けるためには、自分が主張できる影響力だけでは十分でないことが多い。これは最適とは言えない。 しかし、その場合でもやるべきことはある。 主にデータサイエンティストは、モデリングの限界と、モデルができることとできないことについて、最初から声高に主張しなければならない*11。

利害関係者の期待値コントロールは、自分の尻ぬぐいをするために重要な意味を持つ。 その戦略の一環として、プロジェクトを研究開発として枠にはめることができる。モデリングにおいては最善の努力を約束するが、結果は予見できないと警告することもできる。これは、プロジェクトが失敗することも許されるということを意味する。さらに、結果がデータの質に大きく左右されることを強調することもできる。期待に応えられなかったことを非難されたとしても、少なくともその責任をデータに向けることができる。

否定ばかりする人間は、多くの共感を得ることはない。 したがって、MMMに代わるものを提供する必要もある。 幸いなことに、世の中には効果が実証されている分析手法がある。 どの手法も、マーケティングとROASの正確な貢献度を明らかにすることはできない。 しかし、いくつかの関連する側面を明らかにすることはできる。 A/Bテスト、地理的要素を活用した実験、その他の因果推論手法のような実験は、提供する有用な代替案の有力な候補である*12。

結論

MMMは、企業がマーケティング支出のリターンを評価するために不可欠なツールであると信じられている。MMMを推進する利己的な役者がその信念を煽り、反対する立場はまれである。 にもかかわらず、現実には多くの統計的かつ実際的な議論が、この信念が間違っているか、少なくとも過大評価されていることを示している。

あるデータと答えが欲しいという切なる願望が組み合わされたとしても、与えられたデータ群から合理的な答えが引き出せるとは限らない。 - ジョン・テューキー*13

リーダーや分析の実務家は、騙されずに、自称「専門家」の代わりに事実に焦点を当てるようになることをお勧めする。 それによって、彼らはMMMからより価値のあるマーケティング測定方法の活用に方向転換すべきだろう。

*1:「広告主は、資金を提供した広告キャンペーンに関するデータを入手するために、多くの別個のデータ元を経由しなければならない場合がある。このプロセスの複雑さは、いくつかの重要なデータを見逃したり、誤って解釈したりすることにつながりやすい。」 Chan, D., & Perry, M. (2017). Challenges and opportunities in media mix modeling., p.5

*2:「(中略)費やされた広告費は入手できるが、広告接触データは収集が難しく、しばしばメディアやデータを提供するベンダーの独自の方法によって推定される。 これは特にオフラインメディアに当てはまる。例えば、紙媒体では、発行部数を接触の代替指標として提供することができるが、それは「広告を見た実際の人数」の良い代理指標とは限らない。」Chan, D., & Perry, M. (2017). Challenges and opportunities in media mix modeling., p5

*3:「我々は、はるかに長い過去の期間のデータを含めることによってサンプルサイズを増やす。 しかし、市場の需要やマクロ経済要因など他の要因が長期間に渡って大きく変化しているはずなので、これは実際の問題でサンプルサイズを増やすのに推奨される方法ではない。」Y., Wang, Y., Sun, Y., Chan, D., & Koehler, J. (2017). Bayesian methods for media mix modeling with carryover and shape effects, p12

*4:「 MMMは通常、巨額の投資と多様な利害関係者との調整を必要とする。そのため、モデルの解釈可能性のハードルは非常に高い。」 Ng, E., Wang, Z., & Dai, A. (2021). Bayesian Time Varying Coefficient Model with Applications to Marketing Mix Modeling. arXiv preprint arXiv:2106.03322. , p1.

*5:「しかし、測定戦略には、モデルの背後にある科学以上のものがある。 MMMを形成するためにビジネスの文脈を組み込むことは芸術であり、モデルの結果と最終的な提言に影響を与えるものである。」Marketing mix models are based in science, but also need a touch of art

*6:「実際には、モデル構築者は多くの異なる方向に引っ張られ、最終的にすべての異なる質問に対処しようとするフランケンモデルを構築するが、どの質問にも正しく答えることはない」Why MMM is so hard

*7:「Googleのデータサイエンティストのチームは、同じデータを使ったMMMが、同じレベルの統計的信頼性で、まったく異なるROIを報告する可能性があるという論文を発表した。」 Marketing mix models are based in science, but also need a touch of art

*8:季節性、価格、流通など、いくつかの変数の説明力は、広告費変数がない場合でも高い予測力を達成するのに十分であることが多い。このため、様々なモデルを実装することで、予測精度の高いモデルを簡単に見つけることができる。具体的なモデル選択の例としては、アウトカム変数として販売量と対数販売量のどちらを選ぶか、価格をどのようにコントロールするか、ラグ効果や収穫逓増をどのように捉えるかなどがあり、 MMMの根底には、このような選択が何十通りも存在するのである。 Chan, D., & Perry, M. (2017). Challenges and opportunities in media mix modeling, p10.

*9:訳者注：「技術」はcraftの訳。英語として見ると後述のcraftingと微妙にニュアンスが異なるところがユーモアだなあと思う

*10:「広告の露出からコンバージョンに至るまでの消費者のデジタルフットプリントを追跡することによって、デジタルマーケティングの効果を測定するためのシステム全体が危機に瀕している。 マーケティング・ミックス・モデルは、この課題を回避する」 5 reasons why a Marketing Mix Model is relevant today

*11:「MMM が答えられる質問と答えられない質問の種類について、分析者が率直に説明することが重要である。 特に重要なのは、モデリングプロセスの不確実性と、分析者とモデル結果のエンドユーザーとの間の透明性の必要性を認識することである。 その透明性の一環として、分析者は、MMM の能力と限界について率直であるべきである。」 Chan, D., & Perry, M. (2017). Challenges and opportunities in media mix modeling. , p.15

*12:「ランダム化比較実験は、因果効果を測定する方法としては、圧倒的に正確である。 しかし、一般的に一度に1つか2つのことしかテストできず、実施も困難である。」 Chan, D., & Perry, M. (2017). Challenges and opportunities in media mix modeling. , p.15

*13:訳注：原文は"The combination of some data and an aching desire for an answer does not ensure that a reasonable answer can be extracted from a given body of data."