![脳を模してみよう
• McCulloch-Pitts モデル [Mcculloch,Pitts , 1943]
– ニューロンを真似た構造の実現
13
出力](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-13-320.jpg)
![脳を模してみよう
• パーセプトロン [Rosenblatt, 1958]
– 脳のネットワークのような構造
– 任意の識別面も表現できるように[Rumenhert,1986]
14
多層パーセプトロン](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-14-320.jpg)
![機械学習の春
• 一般物体認識コンテスト [Krizhevsky et al , 2012]
大量の画像を読み込ませ
1,000種類のクラス識別問題
error率 15.3%
視覚野のような特徴を確認
18
Krizhevsky et al, “Imagenet Classification with Deep Convolutional Neural Network,” 2012](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-18-320.jpg)
![機械学習の春
• Googleの猫認識 [Quoc et al,2011]
これが猫だと 教えずに 猫の概念を獲得
19
Quoc et al, “Building High-level Features Using Large Scale Unsupervised Learning,” 2011](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-19-320.jpg)
![機械学習の春
• Deep Q-Network [Volodymyr et al,2015]
コンピュータに「行動則」を学ばせる
20
Volodymyr et al, “Human-level control through deep reinforcement learning,” 2015](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-20-320.jpg)
![方策オフ型モンテカルロ法
各方策を与える（状態、行動、報酬）
119
[ A,r,b,B,d,d,D,d,f ]
この時の行動価値を両者計算
> なら方策変更
π
π’
Ｂ
ＤＣ
Ｅ Ｆ
Ａ
π’ π
A→r→b→B→r→d→D→d→f
A→d→c→C→r→d→D→d→f](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-118-320.jpg)
![ドーパミンニューロンの観測
• 予測と報酬の神経回路 [Schultz et al, 1997]
ランプの点灯に従って
レバーを操作すると
ジュース（報酬）が貰える
この時のサルの線条体
ドーパミンニューロンを計測
150
http://www.wakosozai.com/](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-149-320.jpg)
![ドーパミンニューロンの観測
• 予測と報酬の神経回路 [Schultz et al, 1997]
ランプの点灯に従って
レバーを操作すると
ジュース（報酬）が貰える
この時のサルの線条体
ドーパミンニューロンを計測
151
http://www.wakosozai.com/](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-150-320.jpg)
![どのように行動選択しているのか
• 行動価値の観測 [Samejima et al , 2005]
サルの線条体ニューロンの観測
倒す方向によって貰える確率が変化
157
Samejima et al, “Representation of Action-Specific Rewards Values in the Striatum,” 2005](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-156-320.jpg)
![強化学習の応用研究
• ヘルプから適切な操作の遂行
[Branavan et al,2009]
Windowsのヘルプを解釈し
見合った操作を自律的に行う
164
Click run, and press OK.](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-163-320.jpg)
![強化学習の応用研究
• ゲームへの応用（DQN）
[Volodymyr et al,2015]
ゲーム画面４フレーム分を入力
出力は動作
最初２層はＣＮＮ
最適行動価値関数Ｑ*への近似
165
Volodymyr et al, “Human-level control through deep reinforcement learning,” 2015](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-164-320.jpg)
![強化学習の応用研究
• 未学習データの検出および強化学習への応用
[Osawa,Hagiwara,2015]
RBM,Deep Belief Networkを用い
長期スパンでの “戦略” の立案を
可能にするようなモデルを提唱
166
状態、行動
価値判定](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-165-320.jpg)
![主な参考文献
[1] Richard S.Sutton , Andrew G.Barto , “Reinforcement Learning” , 1998
[2] 三上 貞芳, 皆川 雅章 共訳 , “強化学習”, （[1]の日本語版）
[3] 銅谷 賢治, “計算神経科学への招待” , 2007
[4] 牧野 貴樹, “強化学習をベイズで理解する”, 2014 (スライド)
[5] Volodymyr et al, “Human-level control through deep reinforcement learning,” 2015
その他 多くのWeb上のスライド、記述、論文、書籍など
使用した脳の画像: 3D-brain(free)
169](https://image.slidesharecdn.com/random-150318034830-conversion-gate01/85/-168-320.jpg)
全脳アーキテクチャ若手の会 強化学習
- 1. 全脳アーキテクチャ 若手の会 勉強会 後援：ドワンゴ人工知能研究所 強化学習 ＝脳へのアプローチ＝ 法政大学 理工学部 応用情報工学科 川崎 雄介 [email protected]
- 2. 自己紹介 川崎 雄介 – 所属：法政大学 理工学部 – 出身：東京都 八丈島 – 研究：植物病自動診断 – 特技：少林寺拳法 2
- 3. 身近になった人工知能 • Pepper (Aldebaran Robotics,Softbank 社 ) – 人間の声のトーンなどから感情認識 • 将棋電王戦 (niconico) – 人間 vs コンピュータでの将棋 – 人間１勝、コンピュータ４勝 (2014第3回) 3
- 4. 身近になった人工知能 • 総務省 2015年2月 – インテリジェント化が加速する ICTの未来像に関する研究会 – 2045年問題に関する議論 人工知能が人間並みの知能を持つようになる？地点 – 政府機関によるこういった会議は異例 4
- 5. 最近、こんなことが話題に • グーグル開発の人工知能DQN ネットでは「命名事故？」「奇跡的」 （2015年 2月26日 withnews , 抜粋 ) 米国のＩＴ大手グーグルが、画期的な人工知能を開発した、と２６日号の科学情 報誌「ネイチャー」（電子版）で発表しました。その名も「ＤＱＮ」。「ＤＱＮ （ドキュン）」とは、「知的水準が低く、常識がない」という意味の日本のネッ トスラング。グーグル肝いりのプロジェクトだけに、世界中のネットユーザーの 間で「ドキュン」が浸透するかもしれません。 ネイチャー電子版によると、この人工知能（ＡＩ）は、グーグルの子会社 「ディープマインド」のチームが開発しました。 他企業が開発している既存のＡＩは、単一の目的に特化されているものが多く ありました。 それに対してＤＱＮは、「得点が最大になるような行動を選ぶ」「データから 対象物の特徴をとらえる」などの学習機能を組み合わせることで、様々な課題に ゼロから取り組んで成果を上げられるのが特徴です。 たとえばゲームの場合なら、遊びながら自動学習し、攻略法を編み出して上手 くなっていくそうです。 5
- 6. 最近、こんなことが話題に • グーグル開発の人工知能DQN ネットでは「命名事故？」「奇跡的」 （2015年 2月26日 withnews , 抜粋 ) 米国のＩＴ大手グーグルが、画期的な人工知能を開発した、と２６日号の科学情 報誌「ネイチャー」（電子版）で発表しました。その名も「ＤＱＮ」。「ＤＱＮ （ドキュン）」とは、「知的水準が低く、常識がない」という意味の日本のネッ トスラング。グーグル肝いりのプロジェクトだけに、世界中のネットユーザーの 間で「ドキュン」が浸透するかもしれません。 ネイチャー電子版によると、この人工知能（ＡＩ）は、グーグルの子会社 「ディープマインド」のチームが開発しました。 他企業が開発している既存のＡＩは、単一の目的に特化されているものが多く ありました。 それに対してＤＱＮは、「得点が最大になるような行動を選ぶ」「データから 対象物の特徴をとらえる」などの学習機能を組み合わせることで、様々な課題に ゼロから取り組んで成果を上げられるのが特徴です。 たとえばゲームの場合なら、遊びながら自動学習し、攻略法を編み出して上手 くなっていくそうです。 6
- 7. 最近、こんなことが話題に • グーグル開発の人工知能DQN ネットでは「命名事故？」「奇跡的」 （2015年 2月26日 withnews , 抜粋 ) 米国のＩＴ大手グーグルが、画期的な人工知能を開発した、と２６日号の科学情 報誌「ネイチャー」（電子版）で発表しました。その名も「ＤＱＮ」。「ＤＱＮ （ドキュン）」とは、「知的水準が低く、常識がない」という意味の日本のネッ トスラング。グーグル肝いりのプロジェクトだけに、世界中のネットユーザーの 間で「ドキュン」が浸透するかもしれません。 ネイチャー電子版によると、この人工知能（ＡＩ）は、グーグルの子会社 「ディープマインド」のチームが開発しました。 他企業が開発している既存のＡＩは、単一の目的に特化されているものが多く ありました。 それに対してＤＱＮは、「得点が最大になるような行動を選ぶ」「データから 対象物の特徴をとらえる」などの学習機能を組み合わせることで、様々な課題に ゼロから取り組んで成果を上げられるのが特徴です。 たとえばゲームの場合なら、遊びながら自動学習し、攻略法を編み出して上手 くなっていくそうです。 7 このメカニズムを探る
- 9. 今回の講演につきまして • 第１部 – この分野に馴染みのない方向け – ざっくりとしたお話になります（数式なし） • 第２部 – この分野（情報系）の方向け – 数式を使って、可能な限り詳説します 何度か質問コーナー挟んでいきます！ 9
- 10. 第１部 10
- 12. ネットワークの構成要素 • ニューロン（Neuron） – 脳内の神経細胞 – 入力ー処理ー出力の機構 – 強い電気信号のみに発火 12 銅谷 賢治, “計算神経科学への招待” より 細胞体 (soma) 樹状突起 (dendrite) 軸索 (axon)
- 13. 脳を模してみよう • McCulloch-Pitts モデル [Mcculloch,Pitts , 1943] – ニューロンを真似た構造の実現 13 出力
- 14. 脳を模してみよう • パーセプトロン [Rosenblatt, 1958] – 脳のネットワークのような構造 – 任意の識別面も表現できるように[Rumenhert,1986] 14 多層パーセプトロン
- 16. しかし • 計算リソースが足りなかった！ – ここにきてハードウェアの発展 • 人間の表現力が高すぎた！ – 大域的な最適解を出せない 16
- 17. しかし • 計算リソースが足りなかった！ – ここにきてハードウェアの発展 • 人間の表現力が高すぎた！ – 大域的な最適解を出せない 17 ここに来てそれを打ち破る技術が誕生 Deep Learning
- 18. 機械学習の春 • 一般物体認識コンテスト [Krizhevsky et al , 2012] 大量の画像を読み込ませ 1,000種類のクラス識別問題 error率 15.3% 視覚野のような特徴を確認 18 Krizhevsky et al, “Imagenet Classification with Deep Convolutional Neural Network,” 2012
- 19. 機械学習の春 • Googleの猫認識 [Quoc et al,2011] これが猫だと 教えずに 猫の概念を獲得 19 Quoc et al, “Building High-level Features Using Large Scale Unsupervised Learning,” 2011
- 20. 機械学習の春 • Deep Q-Network [Volodymyr et al,2015] コンピュータに「行動則」を学ばせる 20 Volodymyr et al, “Human-level control through deep reinforcement learning,” 2015
- 24. スロットマシン（k-armed bandit） • とりあえず一本ずつ引いてみる 24 A: 100 B: 50 C: 10 D: 1
- 25. スロットマシン（k-armed bandit） • とりあえず一本ずつ引いてみる 25 A: 100 B: 50 C: 10 D: 1
- 26. スロットマシン（k-armed bandit） • とりあえず一本ずつ引いてみる 26 A: 100 B: 50 C: 10 D: 1 もらえるご褒美は 多い方がいい （欲張り方策）
- 27. スロットマシン（k-armed bandit） • もし次に出る額を知っていたら？ 27 A: 100 (1) B: 50 (10) C: 10 (100) D: 1 (500)
- 28. スロットマシン（k-armed bandit） • １回引くたびに出る額が変わったら？ 28 A: ？？？ B: ？？？ C: ？？？ D: ？？？
- 29. 探索と知識利用 • 探索 （exploration） – 最終的に多くの報酬を貰いたい – あえて別の行動をとる 29 B
- 30. 探索と知識利用 • 知識利用 （exploitation） – 今も貰えた ならば 次も貰える – 大きな報酬が期待できる行動をとる 30 A
- 31. 探索と知識利用 • 探索 vs. 知識利用 – 相反する性質 – ずっと欲張らず違う腕も引いてみる – 最初は適当に、時間が経つにつれて欲張りに – レバーを引く、という行動をどう選ぶのが最適？ 31
- 32. 強化学習と脳？ • 大脳基底核 – 大脳皮質の内側の器官 – ここが強化学習に 関わっているのでは？ ２部の後半で 紐解いていきます 32
- 33. 強化学習で何ができそうか？ • 被災地の復興支援ロボット – 自ら危険なところを回避し人を探す、情報を送る • 介護ロボット – 介護の現場での運用 • 病気の解析 – コンピュータでシミュレート出来るか？ – パーキンソン病などの治療への足掛かり？ 33
- 34. 第１部のまとめ • 人工知能分野の春 – 計算資源確立、ヒトの表現力の突破 • 脳と似た振舞いを持つ？ – コンピュータも脳のような振舞いを見せた • 強化学習の導入 – 多くのご褒美を得ることが目標 – k-armed bandit問題 34
- 36. 第２部 36
- 37. 第２部目次 1 問題設定 2 動的計画法 vs モンテカルロ法 3 ＴＤ学習、Ｑ学習 4 脳との関連性 5 研究動向、まとめ 37
- 38. 第２部目次 1 問題設定 2 動的計画法 vs モンテカルロ法 3 ＴＤ学習、Ｑ学習 4 脳との関連性 5 研究動向、まとめ 38
- 39. 強化学習の位置づけ • 教師あり学習 – 正解付のデータから規則を算出 – ILSVRC2012 (一般物体認識) • 教師なし学習 – 膨大なデータから規則を算出 – Googleの猫認識 • 強化学習 – ある行動に対する「ご褒美」から規則を算出 – Deep Q Network 39
- 40. 用語の定義 • エージェント（agent） – 動作する主体のこと – 人間、ロボット、etc 40
- 42. 用語の定義 • 状態（states） – 現在エージェントが置かれている状態 – ：時刻ｔでの状態 42 環 境
- 43. 用語の定義 • 行動（action） – エージェントが環境に対して働きかける動作 – ：時刻ｔでのエージェントの行動 43 環 境
- 44. 用語の定義 • 報酬 （rewards） – 取ったその行動がどの程度良かったか 44 環 境
- 46. 用語の定義 • 方策（policy） – ある状態においてのエージェントの行動規則 – ：状態ｓで行動ａをとる確率 46 環 境
- 47. • 以下本発表においては – ｓ：任意の状態 – ａ：任意の行動 – π ：任意の方策 – ｔ：ステップ数 – Pr：確率 – Ｐ：確率の集合 – Ｒ：報酬の集合 – Ａ：行動の集合 47
- 48. 具体的に 状態ｓ：Ａ～Ｆ 行動ａ：{down,right} 方策 π ：(Ａ, down ) （Ｃ, right ） 報酬ｒ： Ｃが持つ価値 （後述） 49環境 Ｂ ＤＣ Ｅ Ｆ Ａ ＳＴＡＲＴ ＧＯＡＬ
- 49. タスクの種類 • 連続タスク （continuing tasks） – 有限時間内でタスクの終了が保障されない – ロボットの実問題への適用など • エピソード的タスク（episode tasks） – 有限時間内で１つのタスクが終了 – 迷路の解の算出など – 今回はこちらメイン 50
- 50. マルコフ性（Markov property） • 以前までに得た情報を保持できるような過程 – １段階前の状態からの判断で、後続の状態を 判断しても遜色がない 51
- 51. マルコフ決定過程（Markov Decision Process） • MDP • マルコフ過程に「意思決定＝行動ａの選択」を 付与したもの • 強化学習全般がこの理論をベースにしている 52
- 53. 強化学習の目標 • 累積報酬の最大化 エージェントの報酬をタスク終了時に最大にする エージェントの 「今おかれた立場の価値」＝ 状態価値 「そこでの各振舞の価値」＝ 行動価値 を評価する 54
- 54. 状態に価値を設定する 55 • 状態の価値？ – ある状態の期待報酬 – その状態でどの程度最終的にご褒美が期待できるか
- 55. 状態に価値を設定する 56 • 状態の価値？ – ある状態の期待報酬 – その状態でどの程度最終的にご褒美が期待できるか • 状態価値関数（state-value function for policy π） 期待値
- 56. 行動に価値を設定する 57 • 行動の価値？ – ある状態である行動をすることの期待報酬 – ここでこれするとどの程度ご褒美が期待できるか
- 57. 行動に価値を設定する 58 • 行動の価値？ – ある状態である行動をすることの期待報酬 – ここでこれするとどの程度ご褒美が期待できるか • 行動価値関数（action-value function for policy π） 期待値
- 59. γ？ 60
- 60. 割引率 • 割引率（discount rate）γ – 遠い先の報酬を割引くための定数 (0 <= γ <= 1) – 0なら即時報酬のみ – 1なら先々の報酬も同様に考慮 • イメージ – 10,000円を今貰うか？ 11,000円を一年後貰うか？ 61
- 64. Bellman方程式の再帰性 65 ｓ： 現在の状態 ｓ’ : 次の状態 ａ： 行動 P ： 状態ｓで行動ａを取ってｓ‘に遷移する確率集合 R : 〃 報酬集合 π(s,a)： 状態ｓで行動ａを取る確率
- 66. １節まとめ • 強化学習の目標 – 累積報酬の最大化 価値関数の設定 • マルコフ性 – 得られるものは全て以前までの情報の集大成 67
- 67. 第２部目次 1 問題設定 2 動的計画法 vs モンテカルロ法 3 ＴＤ学習、Ｑ学習 4 脳との関連性 5 研究動向、まとめ 68
- 68. 動的計画法とは？ 69 • 動的計画法（Dynamic Programming） – 環境の完全なモデルを持つ（モデルベース） – 後続の価値を現在の価値に従って更新 – 厳密な最適解 が求まる （理論的には） – ベルマン方程式を厳密に解く方法
- 70. 動的計画法の流れ ① 各状態、その状態で取りうる方策の初期化 ② ある方策を選ぶ ③ 各状態においての状態価値を ひたすら 計算 ④ 方策が最適か確かめる 71
- 71. 動的計画法の流れ ③ 各状態においての状態価値を ひたすら 計算 ④ 方策が最適か確かめる （よりよい方策が無いか？） 72
- 73. greedy方策 • より多くの報酬を得ようとする行動選択法 74 s0 s1 s2 10 20 20 10 緑 緑
- 74. greedy方策 • より多くの報酬を得ようとする行動選択法 75 s0 s1 s2 10 20 20 10 赤 緑
- 75. 方策改善定理 • ある方策と価値関数を考える – よりよい価値が得られるように更新 – 必ず最適解に収束すると知られている 76
- 82. 動的計画法の流れ ③ 計算 同様に全て計算 この際、方策 緑 の 計算結果を利用する 状態CではDの状態価値が 利用できる 83 Ｂ ＤＣ Ｅ Ｆ Ａ
- 88. 動的計画法の難点 • 必ず最適解に辿り着くけど・・・ • 計算量が多い！ – 状態数が増えると現実的には計算不可 • モデルを持たないと使えない！ – 実際はそれがふつう – モデルなしで知的な エージェントを実現したい 89
- 89. モンテカルロ法とは？ 90 • モンテカルロ法（Monte Carlo method） – 環境のモデルを一切持たない（モデルフリー） – 「エピソード」を多数生成し、試行錯誤する – 方策オン／オフ
- 91. エピソード • エピソード（episode） – 始点から終点までの状態ｓ、行動ａ、報酬ｒの列 92 Ｂ ＤＣ Ｅ Ｆ Ａ A→r→b→B→d→d→D→d→f→F
- 92. 動的計画法 vs モンテカルロ法 • 動的計画法 – 「先読み」が可能 – 次に貰える報酬と、次の状態が利用可能！ – 「今の状態価値」だけで十分 • モンテカルロ法 – 「先読み」が不可 – 「今の状態価値」＋「そこでとる行動」セット評価 93
- 93. モンテカルロ法の流れ 94 以下を繰り返す ① エピソードを生成 ② エピソード中の「ある状態のある行動」 についての報酬を積算、平均 ③ 各状態で が最大となる方策を選ぶ
- 95. モンテカルロ法の流れ ② 報酬の積算、平均 96 Ｂ ＤＣ Ｅ Ｆ Ａ (b+d+f)/3 (b+d+f)/3 (b+d+f)/3
- 96. モンテカルロ法の流れ ③ 最大の行動価値に 従って方策の更新 97 Ｂ ＤＣ Ｅ Ｆ Ａ (b+d+f)/3 (b+d+f)/3 (b+d+f)/3
- 97. モンテカルロ法の流れ ① エピソード生成 98 Ｂ ＤＣ Ｅ Ｆ Ａ (b+d+f)/3 (b+d+f)/3 (b+d+f)/3 A→d→c→B→r→d→D→d→f→F
- 98. モンテカルロ法の流れ ② 報酬の積算、平均 99 Ｂ ＤＣ Ｅ Ｆ Ａ (b+d+f)/3 (b+d+f)/3 (b+d+f)/3(c+d+f)/3 (c+d+f)/3 (c+d+f)/3
- 99. モンテカルロ法の流れ ③ 最大の行動価値に 従って方策の更新 緑より赤の方が 良い報酬！ 100 Ｂ ＤＣ Ｅ Ｆ Ａ (b+d+f)/3 (b+d+f)/3 (b+d+f)/3(c+d+f)/3 (c+d+f)/3 (c+d+f)/3
- 102. 103 A Ｂ Ｃ Ｄ Ｆ Ｄ Ｆ Ｅ Ｆ A Ｂ Ｃ Ｄ Ｆ Ｄ Ｆ Ｅ Ｆ 動的計画法 モンテカルロ法
- 104. ホントにいいのか？ 105
- 106. モンテカルロ法の種類 • モンテカルロＥＳ法 – 全ての状態、行動が確認されると仮定 • 方策オン型 モンテカルロ法 – 少し危ない橋を渡らせる • 方策オフ型 モンテカルロ法 – 挙動方策と推定方策 107
- 107. モンテカルロ法の種類 • モンテカルロＥＳ法 – 全ての状態、行動が確認されると仮定 • 方策オン型 モンテカルロ法 – 少し危ない橋を渡らせる • 方策オフ型 モンテカルロ法 – 挙動方策と推定方策 108
- 108. 方策オンと方策オフ • 方策オン型 – 行動を選ぶ方策 そのものを評価、改善 • 方策オフ型 – 行動を選ぶ方策とは別に、評価用の方策を用意 109
- 109. モンテカルロ法の種類 • モンテカルロＥＳ法 – 全ての状態、行動が確認されると仮定 • 方策オン型 モンテカルロ法 – 少し危ない橋を渡らせる • 方策オフ型 モンテカルロ法 – 挙動方策と推定方策 110
- 111. 方策オン型モンテカルロ • ε-greedy手法 – ある確率 ε で 非greedy方策を選ぶ – それ以外の場合にはgreedy方策を選ぶ 112
- 112. 方策オン型モンテカルロ • ε-greedy手法 – ある確率 ε で 非greedy方策を選ぶ – それ以外の場合にはgreedy方策を選ぶ 113
- 113. 方策オン型モンテカルロ • ε-greedy手法 – ある確率 ε で 非greedy方策を選ぶ – それ以外の場合にはgreedy方策を選ぶ 114
- 115. モンテカルロ法の種類 • モンテカルロＥＳ法 – 全ての状態、行動が確認されると仮定 • 方策オン型 モンテカルロ法 – 少し危ない橋を渡らせる • 方策オフ型 モンテカルロ法 – 挙動方策と推定方策 116
- 116. 方策オフ型モンテカルロ法 • ２つの方策を考える – 挙動方策（behavior policy） π’ エージェントが可能な行動の観測を行う – 推定方策（estimation policy） π 実際にエージェントを行動させる 色々な状態ー行動を見つつ、greedyな探索が出来る！ 117
- 118. 方策オフ型モンテカルロ法 各方策を与える（状態、行動、報酬） 119 [ A,r,b,B,d,d,D,d,f ] この時の行動価値を両者計算 > なら方策変更 π π’ Ｂ ＤＣ Ｅ Ｆ Ａ π’ π A→r→b→B→r→d→D→d→f A→d→c→C→r→d→D→d→f
- 119. ２節まとめ 120 • 動的計画法（DP） – モデルベース – 各状態価値をあらかじめ全て計算 – 必ず最適解に辿り着くが 現実的ではない • モンテカルロ法 – モデルフリー – 様々な経験則から最適行動価値関数を見積もる – 方策オン型／方策オフ型
- 120. 第２部目次 1 問題設定 2 動的計画法 vs モンテカルロ法 3 ＴＤ学習、Ｑ学習 4 脳との関連性 5 研究動向、まとめ 121
- 121. ＴＤ学習とは 122 • 現在の源流となる強化学習手法の 祖 – Bellman方程式の近似 – 動的計画法のように「以前の結果を利用」 – モンテカルロ法のように「環境のモデルが不要」
- 122. ＴＤ学習とは • TD学習（Temporal Difference Learning） – その場更新型のモンテカルロ法 – 今の状態と次の状態の報酬を最大化 • α：更新率（0<α<=1） 「今を大事にするか」 α≈ 0 「次を大事にするか」 α≈ 1 123
- 123. モンテカルロ法との違い • モンテカルロ法 – 各エピソードの報酬の和だけ見る – エピソード終端まで更新が不可 • TD学習 – １回１回そこで得られる報酬を使う – 最短、次の状態の予測までで更新可 124 ・・・ ！
- 124. 一体何がすごいのか • 報酬と次の状態のモデルを必要としない – モデルフリー – 「次の状態」はエピソード毎に記憶する • モンテカルロ法より早い！ – 問題が複雑になればなるほど、モンテカルロ法は 更新に時間がかかる （短ければ良い） 125
- 125. ＴＤ学習の流れ ① 各状態価値 V(s) を任意に初期化 評価するπを設定 以下各エピソード毎にループ ② エピソードの各ステップ毎に ・πで与えられる行動aをとってr,s’を観測 ・s（行動前）の状態価値V(s)を更新 ・次状態 s ’へ移行 s’が終端状態なら次のエピソードへ移行 126
- 127. ＴＤ学習の流れ ② 行動 方策π＝緑に従い 行動a=rightをとる 報酬 b と次状態Ｂを 観測 128 Ｂ ＤＣ Ｅ Ｆ Ａ b
- 129. ＴＤ学習の流れ ② 終端まで確認 続いて方策赤を評価 130 Ｂ ＤＣ Ｅ Ｆ Ａ α*b α*d α*f
- 130. ＴＤ学習の流れ ② 行動 方策π＝赤に従い 行動a=downをとる 報酬 c と次状態Ｃを 観測 131 Ｂ ＤＣ Ｅ Ｆ Ａ α*b α*d α*f c
- 131. ＴＤ学習の流れ 132 Ｂ ＤＣ Ｅ Ｆ Ａ new α*d α*f ② V(s)更新 状態価値を設定 先ほどの状態価値利用 エージェントが移動
- 132. ＴＤ学習の流れ 133 Ｂ ＤＣ Ｅ Ｆ Ａ new α*d new ② 終端まで確認 以上繰り返して、 最適な方策を探すα*d
- 133. DQN の Q ！ • Q学習（Q-learning） – ある行動をとったら、その時の自分はどうなるか？ – 方策オフ型のTD学習と考えられる – 現代の強化学習のメイン 134
- 134. Q学習を数式で見る 135 • 行動価値関数の最適化を目指す – １ステップごとに現在の方策を改善する – α：学習率 「今を大事に」ー「次を大事に」のTrade-off 次状態が最適な行動の選択
- 135. ＴＤ学習とＱ学習の違い • ＴＤ学習 – 状態価値に従って更新 – 方策に従って遷移した先の評価値のみ見る • Ｑ学習 – 行動価値に従って更新 – 方策とは関係なしに、複数の評価値を見る 136
- 136. Q学習の流れ ① 各行動価値 Q(s,a) を任意に初期化 評価するπを設定 以下各エピソード毎にループ ② エピソードの各ステップ毎に ・Qで与えられる行動aをとってr,s’を観測 ・s（行動前）の状態価値V(s)を更新 ・次状態 s ’へ移行 s’が終端状態なら次のエピソードへ移行 137
- 138. Q学習の流れ ② 行動価値から選択 b とc どちらが良いか？ 効率よく試行錯誤する 139 Ｂ ＤＣ Ｅ Ｆ Ａ b dc e f d
- 140. 141 動的計画法 モンテカルロ法 TD学習 Ｑ学習 モデル 必要 不要 不要 不要 主な 更新対象 状態価値関数 Ｖ(ｓ) 行動価値関数 Ｑ(ｓ，ａ) 状態価値関数 Ｖ(ｓ) 行動価値関数 Ｑ(ｓ，ａ) 概要 全ての状態を 総当たり計算 計算量が多い エピソードから 価値関数推測 行動選択の方法 エピソードの 1ステップ毎に 状態価値更新 次の行動報酬が 最も良くなるよ う選択 Backup Diagram
- 141. 第２部目次 1 問題設定 2 動的計画法 vs モンテカルロ法 3 ＴＤ学習、Ｑ学習 4 脳との関連性 5 研究動向、まとめ 142
- 145. 各部位の働き • 線条体 – 運動機能、意思決定 • 淡蒼球 – 報酬予測 • 黒質 – ドーパミンの放出 • 視床下核 – 運動の調整 146
- 146. ループ構造 147 大脳皮質 ストリオゾーム マトリックス 淡蒼球外節 黒質緻密部 腹側被蓋野 淡蒼球内節 黒質網様部 視床下核 銅谷 賢治, “計算神経科学への招待” より 視床 線条体
- 147. ループ構造 148 大脳皮質 淡蒼球外節 黒質緻密部 腹側被蓋野 淡蒼球内節 黒質網様部 視床下核 銅谷 賢治, “計算神経科学への招待” より 視床 大脳皮質～基底核ループ ストリオゾーム マトリックス 線条体 大脳皮質～基底核ループ
- 148. ループ構造 149 大脳皮質 ストリオゾーム マトリックス 淡蒼球外節 黒質緻密部 腹側被蓋野 淡蒼球内節 黒質網様部 視床下核 銅谷 賢治, “計算神経科学への招待” より 視床 線条体
- 149. ドーパミンニューロンの観測 • 予測と報酬の神経回路 [Schultz et al, 1997] ランプの点灯に従って レバーを操作すると ジュース（報酬）が貰える この時のサルの線条体 ドーパミンニューロンを計測 150 http://www.wakosozai.com/
- 150. ドーパミンニューロンの観測 • 予測と報酬の神経回路 [Schultz et al, 1997] ランプの点灯に従って レバーを操作すると ジュース（報酬）が貰える この時のサルの線条体 ドーパミンニューロンを計測 151 http://www.wakosozai.com/
- 151. ドーパミンニューロンの観測 • 報酬あり – r: 実際の報酬 – V: 期待報酬 – δ: TD誤差 152 http://www.wakosozai.com/ 学習後 学習前
- 152. ドーパミンニューロンの観測 • 報酬あり – r: 実際の報酬 – V: 期待報酬 – δ: TD誤差 153 http://www.wakosozai.com/ 報酬の「予測」に 対して応答
- 153. ドーパミンニューロンの観測 • 報酬なし – r: 実際の報酬 – V: 期待報酬 – δ: TD誤差 154 http://www.wakosozai.com/ 学習前 学習後
- 154. ドーパミンニューロンの観測 • 報酬なし – r: 実際の報酬 – V: 期待報酬 – δ: TD誤差 155 http://www.wakosozai.com/ ニューロン抑制
- 156. どのように行動選択しているのか • 行動価値の観測 [Samejima et al , 2005] サルの線条体ニューロンの観測 倒す方向によって貰える確率が変化 157 Samejima et al, “Representation of Action-Specific Rewards Values in the Striatum,” 2005
- 157. どのように行動選択しているのか • 最初はランダムに選んでいた • 次第に報酬が貰えそうな方に レバーを倒し始めた 158 Samejima et al, “Representation of Action-Specific Rewards Values in the Striatum,” 2005
- 158. どのように行動選択しているのか • 最初はランダムに選んでいた • 次第に報酬が貰えそうな方に レバーを倒し始めた 159 Samejima et al, “Representation of Action-Specific Rewards Values in the Striatum,” 2005 状態に応じて最適な行動を選んでいる？
- 159. ループ構造 160 大脳皮質 ストリオゾーム マトリックス 淡蒼球外節 黒質緻密部 腹側被蓋野 淡蒼球内節 黒質網様部 視床下核 銅谷 賢治, “計算神経科学への招待” より 視床 線条体
- 161. 大脳基底核のモデル化 162 鮫島和行,銅谷賢治, “強化学習と大脳基底核” 参考 大脳皮質 線条体 淡蒼球外節 黒質網様部 視床 黒質 input output TD誤差 Ｑ(s,a)算出
- 162. 第２部目次 1 問題設定 2 動的計画法 vs モンテカルロ法 3 ＴＤ学習、Ｑ学習 4 脳との関連性 5 研究動向、まとめ 163
- 163. 強化学習の応用研究 • ヘルプから適切な操作の遂行 [Branavan et al,2009] Windowsのヘルプを解釈し 見合った操作を自律的に行う 164 Click run, and press OK.
- 164. 強化学習の応用研究 • ゲームへの応用（DQN） [Volodymyr et al,2015] ゲーム画面４フレーム分を入力 出力は動作 最初２層はＣＮＮ 最適行動価値関数Ｑ*への近似 165 Volodymyr et al, “Human-level control through deep reinforcement learning,” 2015
- 165. 強化学習の応用研究 • 未学習データの検出および強化学習への応用 [Osawa,Hagiwara,2015] RBM,Deep Belief Networkを用い 長期スパンでの “戦略” の立案を 可能にするようなモデルを提唱 166 状態、行動 価値判定
- 166. まだ見えてない部分 • 脳モデルについて – マルコフ性と仮定することは適切か – モデルフリーから経験でモデルベースにしている？ • 強化学習が「最も効率的」なのか？ 167
- 167. まとめ • 強化学習のアルゴリズムを紹介 – 動的計画法、モンテカルロ法 – ＴＤ学習、Ｑ学習 – モデルベース、モデルフリー – 行動の選択（greedy, ε-greedy） • 脳との関連性を紹介 – 線条体にＴＤ学習やＱ学習のような振舞い 168
- 168. 主な参考文献 [1] Richard S.Sutton , Andrew G.Barto , “Reinforcement Learning” , 1998 [2] 三上 貞芳, 皆川 雅章 共訳 , “強化学習”, （[1]の日本語版） [3] 銅谷 賢治, “計算神経科学への招待” , 2007 [4] 牧野 貴樹, “強化学習をベイズで理解する”, 2014 (スライド) [5] Volodymyr et al, “Human-level control through deep reinforcement learning,” 2015 その他 多くのWeb上のスライド、記述、論文、書籍など 使用した脳の画像: 3D-brain(free) 169
- 169. ありがとうございました！ 170
Editor's Notes
- 参考：日経コンピュータ http://itpro.nikkeibp.co.jp/atcl/news/15/020900464/
- http://withnews.jp/article/f0150226003qq000000000000000W00b0901qq000011569A
- http://withnews.jp/article/f0150226003qq000000000000000W00b0901qq000011569A
- http://withnews.jp/article/f0150226003qq000000000000000W00b0901qq000011569A
- 脳へのアプローチということで、脳のお話から現在の機械学習技術、強化学習技術をざっくりとお話しします。
- 前頭葉：理性、運動（理性が保てない） 頭頂葉：体性感覚（体の痺れ） 側頭葉：記憶、触覚、嗅覚 後頭葉：視覚
- 全か無かの法則
- マカロック、ピッツモデル (ステップ関数 0 or 1)
- なんだできてんじゃん？ パーセプトロンがRosenblatt バックプロパゲーションはRumenhert 1986
- この間は、サポートベクターマシンであったり、反教師有り学習がブームになってた
- 最新研究ではgoogleが同じタスクで5%切っている
- ヴォロジミール Ａｔａｒｉ 210*160pixel を84*84*3にサンプリング ※ 最適行動価値関数は 人間に実際に制限された環境の中でゲームをさせて、 より人間的なら「１」に近い報酬、ランダムな動きなら「０」の報酬を与えることによって算出 時系列データを扱っている為、関数近似の必要性： パラメータベクトルθを導入し、それを近似することによって実現 experience replay : エージェントがそれまでに行った経験をデータとして貯め込み、ランダムサンプリングして重み更新を行う
- お断り：Ｄｅｅｐ Ｌｅａｒｎｉｎｇの話ではありません
- ４本あるので４回以上は引けます。
- この場合であれば、Ａをガシャンガシャン引きまくるという「行動」が「欲張り」
- 後に続く報酬が分かる「モデルベース」
- 分布や状況が全く分からない「モデルフリー」
- Boltzmann分布に従う レバーの引き方は、この後方策オン型モンテカルロ法やＱ学習にもつながってくる 脳どこいった？
- サルでの実験 遅延報酬
- ①http://miuse.mie-u.ac.jp/bitstream/10076/13555/1/2012D007.pdf 三重大学大学院 パーキンソン病：ふるえ、筋肉の硬直などが起こる 黒質から線条体へ分泌されるドーパミンが出なくなってしまう事から
- ＣＮＮなど
- 教師有 ： 与えられた正解に関数を近似する なし： 与えられた分布の統計的な性質を見る 強化： 直接正解は与えられないが、どの程度良かったかを環境から入手
- おことわり 方策π ：：：π（Ａ，ｄｏｗｎ）と記載するのが本来正しい。 方策πは確率分布であるため。 直観的な理解をしていただくための記法だと思ってください。
- 全部が全部 ： 非マルコフ
- k-armed banditであれば 「どの腕を引けばよいか」が予めわかっている状態
- ④の処理をかませることで、更新される
- フルバックアップが必要：即ち、後に続く状態の完全な分布が必要となる
- 判断基準； エージェントは「どうすればゴールに辿り着けるか」という環境のダイナミクスを知らない為 「出口にいるかいないか」という事でしか評価ができない
- Ａではrightへ行くよりもdownをした方がよい！ とエージェントが学ぶ
- Ｐ９４アルゴリズム 探索は有限回で打ち切る
- ランダムで、全ての状態行動対を評価しなければならない
- 探索が不十分。 ここに辿り着いた報酬だけで終えてしまう問題。 ：実用上は有限回で切る 見つかった後に「ほんとにこれでいいのか」と判断するのは人間 ゴールに来たという報酬だけじゃ
- とりあえず、greedyな選び方（より報酬が高い方高い方へ流れて行きすぎないようにすればＯＫ）
- とりあえず、greedyな選び方（より報酬が高い方高い方へ流れて行きすぎないようにすればＯＫ）
- 状態数の期待値として定義 Ａ（ｓ）が分母に来てる理由
- ∑Q(s,a) の部分だけは行動後に決まる。
- 本来は異なった瞬間、それ以降すべてのエピソードについて評価し、argmax(a) Q(s,a) なる方策を考える
- 式・・・
- 行動前の値と行動後の値 Ｖ（ｓ）との誤差をどんどん減らしていく
- モンテカルロは腕の分岐の組合せに厳しい
- s’に移動してからｓの状態価値を更新する。Temporal Difference と言われる所以
- 初期化時はＶ（ｓ）＝０ γ＝１
- αb + α{c+γαb-αb}
- αb + α{c+γαb-αb}
- なぜ方策オフか？ 現在行っている方策とは関係なしに、常に最大の行動価値を選択しながら行動価値関数を更新しているから
- Q学習するためには、「自分がある行動を取ったとして、その時に自分の状態がどうなるか」
- s’に移動してからｓの状態価値を更新する。Temporal Difference と言われる所以
- 初期化時はＶ（ｓ）＝０ γ＝１
- 初期化時はＶ（ｓ）＝０ γ＝１ 簡略化のため、BとCの行動価値関数はすでに理解しているものとする（本来は経験によって得るもの）
- 初期化時はＶ（ｓ）＝０ γ＝１ 簡略化のため、BとCの行動価値関数はすでに理解しているものとする（本来は経験によって得るもの）
- 動的計画法：フルバックアップ ：後に続く状態の完全な分布が必要 モンテカルロ、ＴＤ、Ｑ：サンプルバクアップ ： 不要
- 銅谷先生の本には「オタマジャクシみたいな尾状核、ハマグリみたいな被殻」とあった・・・ ピンクの部分は側坐核 ここも報酬に関与している？？（不明）
- 赤：興奮性 青：抑制性 黒質緻密部からドーパミンを放出することによって興奮
- 赤：興奮性 青：抑制性 どっちがどっちだ… 入力ー○出力
- 赤：興奮性 青：抑制性 黒質緻密部からドーパミンを放出することによって興奮
- 上：学習前 下：学習後
- 上：学習前 下：学習後
- 左に倒すと90%で
- 赤：興奮性 青：抑制性 黒質緻密部からドーパミンを放出することによって興奮
- BartoらのActor-Critic モデルなどがベースになっている
- BartoらのActor-Critic モデルなどがベースになっている
- 方策は確率過程（ボルツマン分布） 最適状態価値関数Ｖ*の推定 真の分布が不明なので、Ｖを最大にするようなθを仮定し、最尤推定を行っている
- Ａｔａｒｉ 210*160pixel を84*84*3にサンプリング 最初の２層で有用な特徴量を抽出 ※ 最適行動価値関数は 人間に実際に制限された環境の中でゲームをさせて、 より人間的なら「１」に近い報酬、ランダムな動きなら「０」の報酬を与えることによって算出 時系列データを扱っている為、関数近似の必要性： パラメータベクトルθを導入し、それを近似することによって実現 experience replay : エージェントがそれまでに行った経験をデータとして貯め込み、ランダムサンプリングして重み更新を行う
- MITの研究
- 強化学習を使う場合は、問題を強化学習 自律的に正解を見つけていく場面であればよい 対応があればいい、というだけであれば教師有り学習