施策の効果をみんなで納得して前に進むための「箱ひげ図」

こんにちは、検索・編成部ディレクターの岡根谷です。

クックパッドを訪れてレシピ検索するユーザーさんの検索成功率を上げるために、日々施策を行っています。

自信を持って進めるためには客観的なデータ

はじめはどんなによさそうと思った施策でも、進めていく中で、自分や一緒にやっているエンジニアが施策の価値に自信をなくして停滞する瞬間が必ずあります。

そんな時、A/Bテストの結果などの客観的な定量データは非常に心強いです。客観的な裏付けがあると、判断に対しての迷いがなくなり、前向きに改善に取り組んで価値を生み出していけるようになります。

客観的データを自分の言葉で伝えたい

しかし、このよく言う「施策の効果を数字で」というのは、いざちゃんとやろうとすると非常に手間のかかるものだったりします。 ある機能が検索成功率を上げるのに有効ということを示すために、

「機能ありの方がなしの場合より検索成功率高めだから効果ありそう」

と唱えるだけではもちろん不十分で、その程度ならやっぱり誤差かも...という不安が生じて容易に施策が減速してしまいます。 かと言って統計学的に十分な証明をしようとすると、

  • 機能ありの場合の方がなしの場合の方より成功率が高くて、
  • かつサンプルサイズが十分に大きくて、
  • なおかつ5%水準で有意差があって...

といった細かい検証作業が必要になり、数字と格闘しているうちに気がついたら一日が終わっていた...ということになりかねません(実際私はありました)。施策の評価のために価値創出に時間が割けなくなってしまっては本末転倒です。 その上、精緻な検証の結果「z=2.13だから5%水準で有意差あり！」と言っても、やっぱり自分が使い慣れない言葉では人の心は動かせず、チーム全員で自信を持って前に進むことは難しいです。

「箱ひげ図」で施策の効果を視覚的に伝える

そこで使い始めたのが「箱ひげ図」です。

対象ユーザーの検索成功率ががだいたいどのあたりに固まっていて、どれくらいのばらつきがあるのかがひと目でわかります。

下の例では、定番メニュー機能を使って「ダイエット」で検索したユーザーのうちの半分が、成功率0.13~0.25の範囲に収まっていることがわかります。この「箱」部分がボリュームゾーンで、上位25%と下位25%の「ひげ」部分はばらつきとみなします。 機能あり群となし群の箱がかぶっていないことから、十分に差が出ていそうということが言えます。

f:id:m_okaneya:20151021200739p:plain

この施策の初期では、箱ひげ図を用いて4つのテストクエリについて評価しました。

f:id:m_okaneya:20151021202319p:plain

私がチームで箱ひげ図を使っていて、最大の利点だと感じるのは「施策の効果にみんなが合意して前に進めること」です。 上の例では、「ダイエット、糖質、朝ごはんというクエリでは有効だったけど風邪というクエリでは効果なさそうだね。この差ってなんだろう。じゃあこの3クエリのいい所を伸ばしてxxしよう」という、よい所に目を向けた改善のためのコミュニケーションが可能になります。

有望な施策を押し進めて価値を生み出すという目的のためには、統計学的な有意性を示すことよりも、その有効性を信じ込めることの方が重要だと考えています。これは、会社で働き始めて、大学の研究と一番大きく違うと感じるところです。有意差検定しないとわからないくらいの微々たる差しか出ないならばその施策にエネルギーを費やすのはやめた方がいい、と言われたこともあります。これにははっとさせられました。

Googleスプレッドシートで誰でも作れる箱ひげ図

ディレクター知見共有会でこの箱ひげ図を使って施策の話をした際に、予想外な好評価をいただきました。

そこで、スプレッドシートで使える箱ひげ図のテンプレートを作成して共有したところ、他のディレクターの方にも使ってもらえるようになりました。いろんなところで使われるようになると、図の見方にも早く馴染めて、コミュニケーションの道具としてのメリットは倍増します。

集計したデータをテンプレートにぺたっと貼れば図ができるので、数字が苦手なディレクターでも便利に使えるのがよいところです。

f:id:m_okaneya:20151021202408p:plain

どんな時でも前に進めるのがディレクターの仕事

自信がない時にも、施策のよい所を見つけて伸ばして前に進めていくのがディレクターの仕事だと教えられました。チーム全員が施策の有効性に自信を持って前に進むために、我々のチームで箱ひげ図は大変心強いコミュニケーションの道具になっています。

言語だけでなく、技術や数字や図も自分の言葉として使ってチームを動かし、より多くの人に「クックパッドで作りたいものが見つかった」体験を届けられるよう努力していきます。

このエントリを読んで、(箱ひげ図を使って)検索をよくしたいと思ってくださったエンジニア・デザイナーの方は、こちら からご応募お待ちしています！