はじめに 少し前に業務で実装した A/B Testing の実装について、チームメンバー用にドキュメントを書いたのですが、Optimize の導入を考えている社内外の開発者の参考になればと思ったため雑にブログにまとめます。 僕が業務で携わっている WinTicket というサービスでは CDN に Fastly を使用しており、その環境下でキャッシュ可能な Google Optimize (以降 Optimize) を使った A/B Testing の仕組みと、この仕組を採用することによって発生する制約について記載します。 この記事で記載する内容は Optimize のガイドで紹介されている Server-side Experiments の内容とほとんど同じです。まずはガイドを読んで外観を掴んでいただけると良いかと思います。 また Optimize 自体の概要については公式ドキュメントや

Quipper で Web Engineer 兼 Engineering Manager を務める @ohbarye です。スタディサプリの開発、その中でも特に合格特訓コースや決済周りの機能開発・保守が主な業務です。 弊社が開発するプロダクト「スタディサプリ」ではA/Bテストを用いたプロダクトの改善を行っています。Quipper の行動指針の一つに "Fact based" という言葉が含まれており、憶測や独断ではなく計測されたデータや事実に基づいて意思決定することが強く推奨されているためです。 このたびスタディサプリにおいて負債と考えられていた機能を「消してよいかどうか」、A/Bテストを通して判断しました。その際に用いた手法や結果、そこから見えたこと、考えたことをご紹介します。 プロダクトの負債とは プロダクトチームにとって負債と考えられていたのは「キャリア決済」という決済手段でした。そ

運用型広告で継続的に成果を出していくためには、A/Bテストは欠かせません。広告のクリエイティブはもちろんのこと広告をクリックしたあとに訪れるランディングページにおいても改善を行っていくことで、さらに成果によい影響を与えられるのは言うまでもありません。しかしながら比較的容易に変更が可能な広告クリエイティブと異なり、ランディングページはテストや変更を行いたくても、さまざまな障壁によりスムーズいかないケースも少なくありません。 今回ご紹介するGoogle オプティマイズは、Googleが提供しているA/Bテストを行うためのツールです。直感的な操作で本格的なテストをすばやく簡単に行うことができます。また、Googleのその他の製品との連携もできる点もメリットのひとつです。 本記事では、Google オプティマイズの基本的な使い方から、Google アドワーズで活用する際のポイントまでを解説します。

ITPro主催 クラウド時代のネットワーク最適化Forum 2018で発表したスライドです。 http://ac.nikkeibp.co.jp/itp/itinfra_network/201801pro/

※編集部注：2023年9月30日以降、Google Optimizeはサービス提供を終了しています。その他のABテストにおすすめのツールはこちらの記事でご紹介していますのでぜひご覧ください。 サイト改善の手法として国内でも成功事例が増えている「A/Bテスト」。パーツ単位、ページ単位での最適化を繰り返していくこの手法は、何よりスムーズなPDCAサイクルが成果の決め手。使いやすく、運用しやすいツールを選ぶことも重要なポイントです。 本記事では、Google社が提供する無料のA/Bテストツール「GoogleOptimize」の使い方をご紹介します。既にGoogleアナリティクスをお使いの方なら、とても簡単にA/Bテストが実施できますよ。 Google Optimizeのアカウントを作るまずはGoogle Optimizeのページにアクセスします。下記のようなページが表示されるので、「GET ST

こんにちは、新規事業開発室のエンジニア渡辺です。 先日「第12回若手Webエンジニア交流会」にてA/Bテストに関する簡単なLTを行いました。 今回はその発表資料を共有したいと思います。 イベントページ wakateweb.connpass.com スライド 発表内容について A/Bテストはプロダクトを継続的に改善する手法として各社で利用されていると思いますが、 今回はA/Bテストを行う際によく直面する問題とその解決方法について、新規事業開発室で 開発を行なっている「ルクラ」での事例を紹介しながら行いました。 イベントについて 文字通り若手のウェブエンジニアが多く参加しており、10代の参加者も多かったように感じました。 このようなイベントでの登壇は初めてでしたが、「若手の発表機会を増やすことが目的」のイベントということもあり、 会場の雰囲気もよく、登壇慣れしたいエンジニア向けにとても良いイベ

ソフトウェアエンジニアの間でも一般的な言葉になった「機械学習」。本書では、その機械学習やデータ分析の道具をどのようにビジネスに生かしていけば良いのか、また不確実性の高い機械学習プロジェクトの進め方などを「仕事で使う」という観点から整理し… オライリージャパンさんからは、売れ行きがとてもいいという話を伺っており、これで新しいノートPCを買う足しになるかなぁと思っています。 物理本については少数ですが、Cloudera World Tokyo2017で限定販売されるそうです。CWT2017申し込みが始まったので、物理版がほしい方は申し込むとよいんじゃないでしょうか。 書評もいくつか届いており、勝手ながら紹介させていただきます。

リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら 汎用人型雑用AIの stakaya です。 たまたま数年前に社内のBLOGに書いたABテストのロジックのまとめ＆比較記事を発掘したので、 このまま眠らせているのはもったいないぞと、 圧倒的もったいない精神を発揮し、シェアさせていただきます。 あの頃は私も若かった。 社内では”堅物・真面目・一途”で有名なものでして、下記文章がお硬いのはご勘弁ください。 はじめに 本記事は、施策の評価手法としてしばしば用いられるA/Bテスト（A/B testing)について、できる限り背後にある仮定を明記した上で、まとめたものである。 A/Bテストとは、主にインターネットマーケティングにおける施策の良否を判断するために、2つの施策（通常、A・Bと記載）を比較す

本日は、リスティング広告を筆頭とした運用型広告のフィールドで、揺れの少ないA/Bテスト（読み：えーびーてすと）を行うための心構えについてです。 A/Bテストとは まずは恒例の定義から。 A/Bテスト（英: A/B testing）とは、主にインターネットマーケティングで行われる、施策判断のための試験の総称である。 狭義ではA/Bテストは仮説検定を指す俗称であるが、広義のA/Bテストはインターネットマーケティングにおける施策の良否を判断するために、2つの施策同士を比較検討する行為全般を指す。 引用元：A/Bテスト - Wikipedia シンプルに、AとBのどちらが良いかを比べるテストですね。別名、スプリットテスト（スプリットランテスト）。 大量のパターンを一斉に試す場合は、多変量テストと呼ばれます。ページ内コンテンツの構成・色・配置を少しずつ変えるLPO（Landing Page Opti

半月ほど前にGoogleから「Google Optimize」なるサービスのメールが届きました。 Google Analyticsのデータを利用して簡易的なABテストなどが出来るサービスのようです。 ウェブサイトにおけるユーザーエクスペリエンス（UX）が重要視されている今こそ使うべきサービスですね。早速登録してみましたので流れをざっくり書いてみます。 ユーザー設定 メールに記載されているページへアクセス後、「GET STARTED」ボタンをクリック 受け取るメールの設定をします。 Tips and recommendations（TIPSとおすすめ） Product announcements（商品アナウンス） Market reserch（マーケットリサーチ） アカウントの設定はデフォルトのままで「I acknowledge I have read and agree the terms

Google『お ま た せ』 ついに来ました。以前Ledgeでも紹介し、リリース予告だけで業界を激震させたABテストツール『Google Optimize』無償版公開です。（ベータ版だけど誰でも使える） とりあえずLedge編集部でソッコー触ってみたので、以下「何ができるのか？」と「どう活用するのか？」のまとめとなります。 できない事って逆に何？至れり尽くせりな無償開放 まずは気になる「何ができるんだっけ？」てとこですが、なんと『有料版とほぼ遜色なし』て感じでした。つまり、以前の記事でお知らせした以下の機能がほぼフル装備状態での無償開放になったようなんです。 ※作れるエクスペリエンス数に制限はあるけれど とりあえずできることリストGoogle Analyticsタグにちょっと加工してURL指定すればOK表示された画面をドラッグ＆ドロップ、直接コード編集でいじってテスト作成変更履歴は全部残

Googleオプティマイズの正式リリースが待ち遠しいですね。以前、申請していたアカウントがどうやら使えるようになってるよ、とアットトリップさんに教えてもらったので早速使ってみました。 こんにちは、A/Bテスト大好きカグア！です。 使えるには使えたのですが、まだ日本語化されていませんでしたので、Google翻訳を一部使ってキャプチャとってます。ご注意下さい。 関連記事 ＞＞ガラケー計測やメール開封に使えるヒットビルダーの使い方 ＞＞Googleアナリティクスに無いけれど、重視ししているKPIや指標I ＞＞Googleアナリティクス基礎：パラメーターの設定や使い方 Googleオプティマイズとは Googleオプティマイズは、本格的なA/Bテストツールとして、Googleがリリースするサイト最適化支援ツールです。無償版と有償版があり、今回試したのは無償版です。 オプティマイズ？オプティマイザー

2017年2月2日にヒカ☆ラボで「女ゴコロとコンバージョンのあやしい関係」としてお話したときの資料になります。 ------------------------------- 「女ゴコロフレームワーク」「デザイン負債の返し方」に続く ネイルブックのサービスを育てるフレームワーク第3弾！ 毎月100万人の女性が利用するネイルサービス「ネイルブック」。 ネイルブックチームでは、この1年間はネイルサロンのオンライン予約を増やすことに注力してきました。 1年間でオンライン予約数を69倍にするまでの試行錯誤と、 そこで得られたノウハウや女性向けサービスならではの苦労話などをお話します。 ------------------------------- 関連URL https://nailbook.jp http://spika.co.jp https://www.wantedly.com/compan

こんにちは、データ分析部の石塚 (@ij_spitz) です。 最近聴いている曲は久保田利伸さんのLA・LA・LA LOVE SONGです。 ロンバケ最高でした、月曜９時はOLが街から消えるというのも納得です。 Gunosyではプロダクト改善のためにABテストを用いて意思決定を行っています。 今回はタイトルにもある通り、ABテストを実現させる上で必要となる対象の割り振り方法を、Gunosyで以前使っていた従来の手法と半年ほど前に新しく導入した手法の2つをご紹介します。 いい感じってなんだよと思われるかもしれませんが、従来の手法の課題を解決するようにいい感じに割り振る方法と理解していただければと思います。 それぞれの運用上で気づいたメリット・デメリットなども合わせてご紹介します。 従来の手法 以前はユーザIDを100で割った余りを使用していました。 例えば、全ユーザの1%でテストしたいという

データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016

Google Analytics「次はA/Bテストを無料にする」 はい。またしても唐突な無償版発表です。。 つい先日、AIによる指標指示機能『Analytics Assistant』のリリースで業界を騒然とさせた我らがGoogle先生ですが、さらなる衝撃リリースをぶっ込んできました。 画面上でUIパターンをかんたん作成・編集可能で、しかもGoogle Analytics連携でセグメント設定までOKな有料版Google Analyticsの限定機能、『Optimize 360』の無償版を出すよ！という告知が、突如公開されたんです。

データ分析部の @ij_spitz です。 普段の業務では主にABテストを用いたプロダクト改善、ユーザーの行動分析などを行っています。 今日はタイトルにもある通り、プロダクト改善をするためにABテストを始めてみたいけど何をすればいいのかわからない、実際にABテストをやってみたけど本当にこれで定量的な評価ができているのか心配、新しくABテストを自動で集計・評価できる基盤を作りたい、という時に参考にしたいブログを紹介します。 海外にはTwitterやLinkedInなどを始めとして、自社のABテストの基盤やノウハウをブログで公開している企業が数多くあります。 もちろんブログの中身は英語ですが、頑張って読んでみると日本ではあまり知られていないことが書いてあったりするので、ぜひ一度読んでみることをおすすめします。 Twitter Engineering | Twitter Blogs Twitte