![OpenAI Gymを動かしてみる
インストール方法は公式GitHubページを参照。
Mac/Linux(Ubuntu)が公式だが、Windowsでもbash on Windowsを利用することで動作させる
ことが可能。
利用する「ジム(=学習環境)」によって、必要となるライブラリも異なってくる。これらは、選択
的にインストールすることが可能。
※pip install gymで入るのは必要最低限のもので、Atariのゲーム環境を使う場合はpip
install ‘gym[atari]’といったように指定する
14](https://image.slidesharecdn.com/pycon2016openaigym-160922062310/85/Python-OpenAI-Gym-14-320.jpg)
Pythonではじめる OpenAI Gymトレーニング
- 1. Pythonではじめる OpenAI Gymトレーニング by icoxfog417 @ PyConJP 2016
- 2. Agenda ● OpenAI Gymを体験しよう ○ OpenAIとOpenAI Gym ○ OpenAI Gymを動かしてみる ○ 簡単な「AI」を作ってみる ○ 「AI」の限界 ● 「AI」を成長させよう ○ 強化学習というアイデア ○ アイデアのモデル化と、最適化の方法 ○ より複雑なタスクへの挑戦 ● Deep Learningとの融合 ○ Deep Q-learningの登場 ○ Deep Q-learningにおける3つのトリック ○ Deep Q-learningの実装 ● おわりに 2
- 3. About Me
- 5. icoxfog417 kintoneとWatsonを連携させた災害対策ソリューション 災害時、TwitterなどのSNSから自動で情報を収 集し、kintoneに登録(重要度やカテゴリを、 Watson NLCで自動判定)。 災害対策マニュアルを学習させたWatson R&Rか ら、必要な対策を提案。 会議診断システムさゆり 会議の様子をカメラで撮影し、リア ルタイムにその会議の評価を出力 する(機械学習により、評価を算 定)。 戦略技術センターの活動 原則はOPEN MINDであ り、検証結果などはほぼ 全てが公開されていま す。
- 6. 人とロボットとの分業による、生産的な接客の実現を検証中 Robot Dash Board Human customerA customerB customerC report take over (telepresence) 背景：生産年齢人口の現象による販売員単価増＋ネットショッピングの普及による来店 者数減 コンセプト：ロボットが得意なところ/できることは任せ、人は人ならでは応対に注力する icoxfog417 対話システムシンポジ ウムでデモ予定
- 10. OpenAIとOpenAI Gym 10 Ilya Sutskever氏 Trevor Blackwell氏 Andrej Karpathy氏 所属する研究員の方たちは、Seq2Seqを提案したIlya Sutskever、Segwayを発明したTrevor Blackwell、画像の 説明文生成を行ったAndrej Karpathなど、泣く子も黙る 世界的に優秀な研究員・エンジニア達が所属。 日本人はまだいないようなので、ぜひ日本人初の OpenAI研究員を目指そう！
- 12. OpenAIとOpenAI Gym OpenAI Gymは、強化学習を開発、評価するための プラットフォームです。 強化学習は意思決定を行うための汎用的な仕組 みで応用性が高く、またその精度は近年飛躍的に 高まっています。 OpenAI Gymは、こうした注目を集める強化学習に おいて標準となる実験・評価環境を提供することを 目的としています。これにより、大規模な画像デー タセットであるImageNetにより画像分類の研究が発 展したのと同様の効果を狙っています。 12 環境を使うのはもちろん、実験結 果をアップロードしたり、他の人 の実行結果・実装を見たりするこ とも出来る
- 14. OpenAI Gymを動かしてみる インストール方法は公式GitHubページを参照。 Mac/Linux(Ubuntu)が公式だが、Windowsでもbash on Windowsを利用することで動作させる ことが可能。 利用する「ジム(=学習環境)」によって、必要となるライブラリも異なってくる。これらは、選択 的にインストールすることが可能。 ※pip install gymで入るのは必要最低限のもので、Atariのゲーム環境を使う場合はpip install ‘gym[atari]’といったように指定する 14
- 15. OpenAI Gymを動かしてみる Gymの基本的な使い方は以下の通り。 15 import gym env = gym.make("CartPole-v0") for i_episode in range(20): observation = env.reset() done = False while not done: env.render() action = env.action_space.sample() observation, reward, done, info = env.step(action) Environment (CartPole-v0) Agent action observation, reward done (episode end) gym episodeの単位は、各ゲームによって異なる。そのため、gymを使っていきなり強化学習に入るよりは、試しに動かし てepisodeの単位、actionの意味を調べるのがおすすめ。
- 16. Let’s start from simple one 16 まずは簡単なAIを作ってみる
- 17. 簡単な「AI」を作ってみる 17 Agent Environment action (フン=左 & フン=右) observation, reward
- 18. 簡単な「AI」を作ってみる 18 Agent Environment action (フン=左 & フン=右) observation, reward def test_funfun_defence(self): env = Environment(env_name="Pong-v0") agent = CycleAgent((2, 3), keep_length=20) for episode, step, reward in env.play(agent, episode=1): pass
- 20. 簡単な「AI」を作ってみる 20
- 22. 「AI」を成長させよう
- 31. アイデアのモデル化: 最適化の方法 31 まとめ 各状態における、期待報酬の値 を0などで初期化する。 各状態で、期待報酬の値を計算 する(Bellman Equation)。 計算した期待報酬の値を元に、も う一度計算を行う。 step=1 step=2 ... step=n 期待報酬の値が、step前後で変わらなくなってくる(=収束する)。これ で計算終了。 Agentは、期待報酬が最大の方向に行くようにすればOK！
- 32. アイデアのモデル化: 最適化の方法 32 まとめ 各状態における、期待報酬の値 を0などで初期化する。 各状態で、期待報酬の値を計算 する。 計算した期待報酬の値を元に、も う一度計算を行う。 step=1 step=2 ... step=n 期待報酬の値が、step前後で変わらなくなってくる(=収束する)。これ で計算終了。 あとは、期待報酬が最大の方向に行くようにすればOK！ Value Iteration
- 33. We have done it …? 33 これで問題は解決？
- 38. We need new idea 38 どうするか？
- 39. 未知なる台地なら探索から puhoto by Moyan Brenn
- 50. We finally made it? 50 これでいけそう？
- 54. Convolutional Neural Network 54 Deep Learning界において、「香川といえばうどん」と同じくらい「画像といえば CNN(Convolutional Neural Network)」は当然のこととして扱われている。 Clarifai CNNは、画像から特徴を抽出して判断するのに優れた手法。 これを応用して、以下のような仕組みを構築する。
- 55. Deep Q-learning 画像であるstateを、画像処理に優れたConvolutional Neural Network)に流し込み、「その状 態でどのactionがいい(=期待報酬が高い)か」を出力させる。 ⇒期待報酬の計算プロセス(Q関数)を、Deep Learningに置き換える。これがつまるところ ・・・ 55 state 期待報酬 action A B ・ ・ Convolutional Neural Network
- 56. Deep Q-learning ※価値関数(Q関数)自体をニューラルネットで近似するアイデアは以前からあったものであ り、よって学習を成功させる手法まで含めてDQNとよぶ。 DQN (Deep Q-learning) puhoto by Chloe Muro
- 58. Deep Q-learningのプロセス 58 ・ ・ ・ episode (1ゲーム終了ま での期間) experience ・ ・ ・ 行動とその結果 (state/action/遷移先 state/reward)を記憶 replay 現状態の報酬 遷移先の報酬 新しい期待報酬 誤差 ⇒DQN更新 DQN 定期的にコピー Fixed Target Q-Network 遷移先報酬を計算する際の重みはし ばらく固定し、定期的に更新する Experience Replay experienceに蓄積したものを、シャッフルして学習デー タにする。 ⇒学習データ間の相関を除去する(普通にやると時系 列に並んでいるため、強い相関がある)。
- 59. Deep Q-learningのプロセス 59 ・ ・ ・ episode (1ゲーム終了ま での期間) experience ・ ・ ・ replay stateの報酬 state’からの期待報酬 探索から算出された 期待報酬 誤差 ⇒DQN更新 DQN 定期的にコピー Fixed Target Q-Network 遷移先報酬を計算する際の重みはしばらく 固定し、定期的に更新する(報酬計算の安 定性を高めるため)
- 60. Deep Q-learningの実装 実行結果(Open AI Gymへアップロード済み) 60
- 61. Deep Q-learningの実装 DQNは、結果が出るまでかなり時間がかかる。そのため、実際計算しないとわからないこと 以外は可能な限り事前にテストしておくことが重要。 ● 感覚的にパラメーターの影響をかなり受けるため、テストしておかないと処理のミスか パラメーターのチューニングの問題かわからなくなる。 ○ 責務分担・処理の独立化を行い、手元のテストでつぶせるバグはすべてつぶして おくこと。 ○ これを怠ると、GPUの場合お財布、CPUの場合時間に致命的なダメージを負うこ とになる ● GPUはほぼ必須(CPUの場合、いい感じかどうかわかるのに1~2日はかかる) ○ GPUインスタンスを使おう ○ OpenAI Gymを検証しているといえばAmazonから$250分もらえるらしい 61
- 62. Deep Q-learningの実装 62 Environment(gym) DQNTrainer DQNAgent observation action train 学習時 observation action 実行時 Trainerが取 れるだけ experience buffer Q-Network Environment(gym) DQNAgent Q-Network icoxfog417/chainer_pong
- 67. おわりに
- 69. Welcome to AI World! puhoto by Rog01
- 70. Thank you for listening!