2017ABTestingTutorial – ExP Platform
Welcome to A/B Testing at Scale Tutorial Tutorial by: Pavel Dmitriev, Somit Gupta, Ron Kohavi, Alex Deng, Paul Raff, Lukas Vermeer Given at SIGIR 2017 and KDD 2017. Tutorial Outline Introduction to A/B testing (slides, video) What is A/B testing Brief history Why use A/B testing Examples Cultural Challenges Design of Experiments: Statistical Foundations (slides, video) Null-hypothesis testing, con
A/Bテストã«ç”¨ã„られる統計的検定手法（ãƒã‚¸ãƒƒã‚¯ï¼‰ã®ã¾ã¨ã‚＆比較 | RCO Ad-Tech Lab Blog
リクルートデータ組織ã®ãƒ–ãƒã‚°ã‚’ã¯ã˜ã‚ã¾ã—ãŸã€‚â€»æœ€æ–°æƒ…å ±ã¯Recruit Data Blogã‚’ã”覧ãã ã•ã„。 Recruit Data Blogã¯ã“ã¡ã‚‰ 汎用人型雑用AIã® stakaya ã§ã™ã€‚ ãŸã¾ãŸã¾æ•°å¹´å‰ã«ç¤¾å†…ã®BLOGã«æ›¸ã„ãŸABテストã®ãƒã‚¸ãƒƒã‚¯ã®ã¾ã¨ã‚＆比較記事を発掘ã—ãŸã®ã§ã€ ã“ã®ã¾ã¾çœ らã›ã¦ã„ã‚‹ã®ã¯ã‚‚ã£ãŸã„ãªã„ãžã¨ã€ 圧倒的もã£ãŸã„ãªã„精神を発æ®ã—ã€ã‚·ã‚§ã‚¢ã•ã›ã¦ã„ãŸã ãã¾ã™ã€‚ ã‚ã®é ƒã¯ç§ã‚‚è‹¥ã‹ã£ãŸã€‚ 社内ã§ã¯â€å …物・真é¢ç›®ãƒ»ä¸€é€”â€ã§æœ‰åãªã‚‚ã®ã§ã—ã¦ã€ä¸‹è¨˜æ–‡ç« ãŒãŠç¡¬ã„ã®ã¯ã”勘å¼ãã ã•ã„。 ã¯ã˜ã‚㫠本記事ã¯ã€æ–½ç–ã®è©•ä¾¡æ‰‹æ³•ã¨ã—ã¦ã—ã°ã—ã°ç”¨ã„られるA/Bテスト（A/B testing)ã«ã¤ã„ã¦ã€ã§ãã‚‹é™ã‚ŠèƒŒå¾Œã«ã‚る仮定を明記ã—ãŸä¸Šã§ã€ã¾ã¨ã‚ãŸã‚‚ã®ã§ã‚る。 A/Bテストã¨ã¯ã€ä¸»ã«ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆãƒžãƒ¼ã‚±ãƒ†ã‚£ãƒ³ã‚°ã«ãŠã‘ã‚‹æ–½ç–ã®è‰¯å¦ã‚’判æ–ã™ã‚‹ãŸã‚ã«ã€2ã¤ã®æ–½ç–（通常ã€A・Bã¨è¨˜è¼‰ï¼‰ã‚’比較ã™
nabokov7; rehash : A/Bテストã§å‡ºæ¥ã‚‹ã“ã¨ã€å‡ºæ¥ãªã„ã“ã¨
June 16, 201415:28 カテゴリサービス作りã®è©± A/Bテストã§å‡ºæ¥ã‚‹ã“ã¨ã€å‡ºæ¥ãªã„ã“㨠A/Bテストã«é ¼ã‚‹ã¹ãã§ãªã„判æ–ã«ã€æ¬¡ã®äºŒã¤ãŒã‚ã‚‹ã¨æ€ã†: 「æ£ã—ã•ã€ã«åŸºã¥ãåˆ¤æ– é•·æœŸçš„ãªåˆ¤æ– ■サービスã®æ€æƒ³çš„ã«ã€è¨è¨ˆçš„ã«ã€ã‚ã‚‹ã„ã¯å€«ç†ã‚„法律的ã«æ£ã—ã„ã‹ã©ã†ã‹ã€ã«ã¤ã„ã¦ã¯ã‚«ãƒãƒ¼ã—ã¦ãã‚Œãªã„。 例ãˆã°ãƒ‘スワードãŒç°¡å˜ã™ãŽãŸã‚‰è¦å‘Šã‚’出ã™ä¼šå“¡ç™»éŒ²ãƒ•ã‚©ãƒ¼ãƒ ã¨ã€æ–‡å¥è¨€ã‚ãšã«å—ã‘付ã‘る登録フォームã¨ã‚’比ã¹ãŸã‚‰ã€ãŸã¶ã‚“後者ã®æ–¹ãŒç™»éŒ²çŽ‡ã¯ã‚ˆããªã‚‹ã‚ã‘ã§ã™ã‚ˆã€‚ã‚ã‚‹ã„ã¯ã€ã§ã‹ã„広告ã¨å°ã•ã„広告を比ã¹ãŸã‚‰ã€ã‚¯ãƒªãƒƒã‚¯çŽ‡ã¯å˜ç´”ã«é¢ç©ã«æ¯”例ã—ã¦å¤§ãããªã‚‹ã€‚ A/Bテストã¯ã€äººé–“ã®æœ¬èƒ½çš„ãªã€ã‚ã‚‹ã„ã¯ã¨ã¦ã‚‚æ£ç›´ãªå応をã•ã‚‰ã‘ã ã™ä»•çµ„ã¿ã 。ã—ã‹ã—人間ã®åå°„çš„ãªè¡Œå‹•ã£ã¦ã€åˆ©å·±çš„ã ã£ãŸã‚Šã€å¾Œã§å¤§ããªé–“é•ã„ã«ã¤ãªãŒã£ãŸã‚Šã‚‚ã—ãŒã¡ã€‚人間ãŒã€æ·±ã„考ãˆç„¡ã—ã«è¡Œå‹•ã™ã‚‹ã“ã¨ã§èµ·ã“ã—ãŒã¡ãªé–“é•ã„ã¯ã€ãã®ã¾ã¾A/BテストãŒèµ·ã“ã—ãŒã¡
多腕ãƒãƒ³ãƒ‡ã‚£ãƒƒãƒˆ テスト - アナリティクス ヘルプ
Google アナリティクス ウェブテストã®åŸºç›¤ã‚’æˆã™çµ±è¨ˆæ‰‹æ³•ã«ã¤ã„ã¦èª¬æ˜Žã—ã¾ã™ã€‚Google アナリティクスã§ã¯ã€ã‚¦ã‚§ãƒ–テストã®æ‰‹æ³•ã¨ã—ã¦å¤šè…•ãƒãƒ³ãƒ‡ã‚£ãƒƒãƒˆæ–¹å¼ã‚’採用ã—ã¦ã„ã¾ã™ã€‚多腕ãƒãƒ³ãƒ‡ã‚£ãƒƒãƒˆ テストã«ã¯ã€æ¬¡ã®ã‚ˆã†ãªç‰¹å¾´ãŒã‚ã‚Šã¾ã™ã€‚ 最も利益ã®å¤§ãã„é¸æŠžè‚¢ã®ç‰¹å®šã‚’目標ã¨ã™ã‚‹ ランダム分布ãŒãƒ†ã‚¹ãƒˆã®é€²è¡Œã¨ã¨ã‚‚ã«æ›´æ–°ã•ã‚Œã‚‹ 「多腕ãƒãƒ³ãƒ‡ã‚£ãƒƒãƒˆï¼ˆmulti-armed bandit）ã€ã¨ã„ã†åå‰ã¯ã€ãã‚Œãžã‚Œã«ç•°ãªã‚‹è¦‹è¾¼ã¿é…当率ãŒè¨å®šã•ã‚ŒãŸã€ã€ŒOne-armed bandit（片腕ã®ç›—賊）ã€ã¨ã„ã†ã‚¹ãƒãƒƒãƒˆ マシンãŒè¤‡æ•°ä¸¦ã‚“ã§ã„る状æ³ã‚’模ã—ãŸä»®èª¬ãƒ†ã‚¹ãƒˆã¨ã„ã†æ„味をæŒã£ã¦ã„ã¾ã™ã€‚スãƒãƒƒãƒˆ マシンã®ãƒ—レイヤーã¯ã€æœ€ã‚‚見込ã¿é…当率ãŒé«˜ã„スãƒãƒƒãƒˆ マシンを見ã¤ã‘出ã™å¿…è¦ãŒã‚る一方ã§ã€åˆ©ç›Šã‚’最大化ã™ã‚‹å¿…è¦ã‚‚ã‚ã‚Šã¾ã™ã€‚ã“ã®çŠ¶æ³ã§ã¯ã€ã“ã‚Œã¾ã§ã®é…当率ãŒæœ€ã‚‚優れã¦ã„るマシンã®ã¿ã‚’プレイã™ã‚‹ã‹ã€ãã‚Œã¨ã‚‚ã•ã‚‰ã«é…当率
A/Bテストよりã™ã”ã„？ãƒãƒ³ãƒ‡ã‚£ãƒƒãƒˆã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã¨ã¯ä¸€ä½“何者㋠- Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? オãƒãƒžå¤§çµ±é ˜ã®å†é¸ã«å¤§ãã寄与ã—ãŸã“ã¨ã§å¤§ããªæ³¨ç›®ã‚’集ã‚ã¦ã„ã‚‹A/Bテスト。A/Bテストを導入ã—ãŸã€ã™ã‚‹ã“ã¨ã‚’検討ã—ã¦ã„ã‚‹ã€ã¨ã„ã†é–‹ç™ºç¾å ´ã‚‚多ã„ã®ã§ã¯ãªã„ã ã‚ã†ã‹ã€‚ ãã‚“ãªä¸ã€Web上ã§æ¬¡ã®ã‚ˆã†ãªè°è«–を見ã¤ã‘ãŸã€‚ 20 lines of code that will beat A/B testing every time Why multi-armed bandit algorithm is not “better†than A/B testing 一言ã§ã¾ã¨ã‚ã‚‹ã¨ã€ŒA/Bテストよりãƒãƒ³ãƒ‡ã‚£ãƒƒãƒˆã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã®æ–¹ãŒã™ã”ã„よã€ã€Œã„ã‚„ã„ã‚„A
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
SSSSLIDE
https://jp.techcrunch.com/2013/06/05/20130604googles-content-experiments-api-a-b-testing/
{{#tags}}- {{label}}
{{/tags}}