バンディットアルゴリズム入門と実践
•
220 likes•171,437 views
Tokyowebmining発表用資料です。複数の選択肢がある場合に、どのように選択を行うのが効率的なのか？という問題を解決するためのアルゴリズムです。
バンディットアルゴリズム入門と実践
- 3. 自己紹介 • 趣味 麻雀、ポーカー、 ゲーム 、テニス ETC. • データ分析を始めたきっかけ 「麻雀についてきちんと議論したいなぁ。。。 そうだ！確率と統計勉強しよう！」 • 最近の夢 ガッチャマンクラウズのGALAXを作る 仕事をゲームにする 3
- 16. どうやって選べばいいの？ 16
- 17. バンディットアルゴリズム！ 17
- 33. いめーじ 探索と活用、探索の際の確率 0.5 0.5 1-ε 777 777 アーム1 当たり確率0.5 探索 アーム2 当たり確率0.3 ε 活用 1 33 777 アーム1 当たり確率0.5
- 34. 実際の使用イメージ 試行数 アーム1期待値 アーム2期待値 アーム3期待値 活用or探索 ランダム選択 1 2 3 4 5 6 7 8 9 0(0/0) 1(1/1) 0.5(1/2) 0.33(1/3) 0.33(1/3) 0.33(1/3) 0.33(1/3) 0.33(1/3) 0.33(1/3) 0(0/0) 0(0/0) 0(0/0) 0(0/0) 1(1/1) 0.5(1/2) 0.66(2/3) 0.66(2/3) 0.75(3/4) 0(0/0) 0(0/0) 0(0/0) 0(0/0) 0(0/0) 0(0/0) 0(0/0) 0(0/1) 0(0/1) ・・・最も期待値の高いアーム 34 探索 活用 活用 探索 活用 探索 探索 活用 活用 1 2 2 3 - 引くアーム 結果 アーム1 アーム1 アーム1 アーム2 アーム2 アーム2 アーム3 アーム2 アーム2 ○ × × ○ × ○ × ○ ○
- 39. 実際の使用イメージ 試行数 アーム1期待値 アーム2期待値 アーム3期待値 活用or探索 0(0/0) 0(0/0) 1 1(1/1) 0(0/0) 2 1(1/1) 0(0/1) 3 1(1/1) 0(0/1) 4 1(2/2) 0(0/1) 5 1(2/2) 0.5(1/2) 6 1(2/2) 0.5(1/2) 7 8 0.66(2/3) 0.5(1/2) 9 0.5(2/4) 0.5(1/2) 10 0.4(2/5) 0.5(1/2) 0(0/0) 0(0/0) 0(0/0) 0(0/1) 0(0/0) 0(0/0) 0(0/2) 0(0/2) 0(0/2) 0(0/2) ・・・最も期待値の高いアーム 39 探索 探索 探索 探索 探索 探索 活用 活用 活用 活用 ランダム選択 引くアーム 結果 1 2 3 1 2 3 - アーム1 アーム2 アーム3 アーム1 アーム2 アーム3 アーム1 アーム1 アーム1 アーム1 ○ × × ○ ○ × × × × ×
- 40. 実際の使用イメージ 試行数 アーム1期待値 アーム2期待値 アーム3期待値 活用or探索 0(0/0) 0(0/0) 1 1(1/1) 0(0/0) 2 1(1/1) 0(0/1) 3 1(1/1) 0(0/1) 4 1(2/2) 0(0/1) 5 1(2/2) 0.5(1/2) 6 1(2/2) 0.5(1/2) 7 8 0.66(2/3) 0.5(1/2) 9 0.5(2/4) 0.5(1/2) 10 0.4(2/5) 0.5(1/2) 0(0/0) 0(0/0) 0(0/0) 0(0/1) 0(0/0) 0(0/0) 0(0/2) 0(0/2) 0(0/2) 0(0/2) ランダム選択 引くアーム 結果 探索 1 アーム1 ○ 探索 2 アーム2 × 探索 3 アーム3 × 探索 1 アーム1 ○ 一定期間で探索と活用を切り分ける 探索 2 アーム2 ○ 探索 3 アーム3 × 活用 アーム1 × 活用 アーム1 × 活用 アーム1 × 活用 アーム1 × 引くアームを一度決定したら他のアームには変更しない 40
- 43. そもそも目的が違います！ 43
- 44. ABテストはテストです 44
- 51. softmax 51
- 54. softmaxの式 アームAを引く確率を以下の計算で決定する アームの期待値 ※ 差の大きさを調節するためのパラメータ tau 0… 成績のいいアームを100%採用 tau= …完全ランダム 54
- 72. シミュレーション1 （当たり確率に大幅な差があるケース） アームは当たり確率 0.1 と 0.9 の2本のアーム 1回の繰り返しではアームを30回引く シミュレーション回数は10,000回 epsilon first(ε = 2, 4, 8, 16), epsilon greedy(ε = 0.9, 0.8, 0.6, 0.2), softmax(tau=0.08, 0.1, 0.2, 0.3), UCBについて比較 72
- 77. シミュレーション2 （当たり確率に大きな差がないケース） アームは当たり確率 0.01 と 0.02 の2本のアーム 1回の繰り返しではアームを1,000回引く シミュレーション回数は10,000回 epsilon first(ε = 50, 100, 200, 400), epsilon greedy(ε = 0.95, 0.9, 0.8, 0.6), softmax(tau=0.0025, 0.005, 0.01, 0.02), UCBについ て比較 77
- 78. シミュレーション2結果 epsilon first(ABテスト) t回目の当たり確率 累積当たり回数 1,000回時点の当たり回数 epsilon = 50 : 15.86回 epsilon = 100: 16.31回 epsilon = 200: 16.72回 epsilon = 400: 16.77回 78
- 79. シミュレーション2結果 epsilon greedy t回目の当たり確率 累積当たり回数 1,000回時点の当たり回数 epsilon = 0.95: 16.83回 epsilon = 0.90: 16.89回 epsilon = 0.80: 16.95回 epsilon = 0.60: 16.63回 79
- 80. シミュレーション2結果 softmax t回目の当たり確率 累積当たり回数 1,000回時点の当たり回数 tau = 0.0025: 17.00回 tau = 0.0050: 17.35回 tau = 0.0100: 16.83回 tau = 0.0200: 16.09回 80
- 82. シミュレーション3 （アームが複数あるケース） アームは当たり確率 0, 0.15, 0.3, 0.45, 0.6, 0.75 の6本のアーム 1回の繰り返しではアームを1,000回引く シミュレーション回数は10,000回 epsilon first(ε = 50, 100, 200, 400), epsilon greedy(ε = 0.95, 0.9, 0.8, 0.6), softmax(tau=0.05, 0.1, 0.15, 0.02), UCBについて比較 82
- 83. シミュレーション3結果 epsilon first(ABテスト) t回目の当たり確率 累積当たり回数 1,000回時点の当たり回数 epsilon = 50 : 506.0回 epsilon = 100: 528.4回 epsilon = 200: 516.3回 epsilon = 400: 456.9回 83
- 84. シミュレーション3結果 epsilon greedy t回目の当たり確率 累積当たり回数 1,000回時点の当たり回数 epsilon = 0.95: 531.2回 epsilon = 0.90: 535.6回 epsilon = 0.80: 514.0回 epsilon = 0.60: 451.8回 84
- 85. シミュレーション3結果 softmax t回目の当たり確率 累積当たり回数 1,000回時点の当たり回数 tau = 0.05 : 410.9回 tau = 0.10 : 528.4回 tau = 0.15 : 501.9回 tau = 0.20 : 457.3回 85
- 89. シミュレーション4 スロットの問題を簡略化 アームは当たり確率 0.1563 が3本, 0.1655 が1本の計4本のアーム （ 104枚の役、7枚の役に差があるので、それを合算した確率） 1回の繰り返しではアームを8,000回引く シミュレーション回数は1,000回 当たる確率の低いアームを引くと-0.15点、当たる確率の高いアームを引くと 0.15点を加算する epsiron greedy(ε=0.9), softmax(tau=0.02), UCBについて比較 参考値として、完全ランダムに引いた場合の値も表示 89
- 91. 全然勝てない。。。 91
- 93. Bayes コンセプト ▶ベイズ確率を計算して、良いアームの確率が最も高いアームを引く 計算式 D：観測事象(100アームを引き20回当たった等) P(H ¦D)：Dが起こった上でそのマシンがアーム1である確率 P(D¦H )：アーム1でDが起こる確率 P(H )：ランダムに選んだ場合にアーム1を選ぶ確率（今回の例では0.75） 1 1 1 93
- 95. 勝てた！！ 95
- 106. 参考資料 Bandit Algorithms for Website Optimization John Myles White著 オライリー社 バンディットアルゴリズムのコード https://github.com/johnmyleswhite/BanditsBook 106