![e.g. Roomba
単純化
モータ
センサ
Subsumption architecture[1] (行動規範型A. I.)
[1] R. Brooks, “A robust layered control system for a mobile robot,” 1986.
身体性人工知能（Embodied Artificial Intelligence）
Credit: iRobot Corporation
24](https://image.slidesharecdn.com/rosjapanug19kuniyukitakahashi-171207153644/85/ver-2-24-320.jpg)
実社会・実環境におけるロボットの機械学習 ver. 2
- 1. 高橋 城志（Kuniyuki Takahashi） Preferred Networks, Inc. 実社会・実環境におけるロボットの機械学習 ROS Japan UG #19 機械学習・AI勉強会 2017年12月7日(木)
- 2. 自己紹介：高橋城志 (Kuniyuki Takahashi) <経歴> - 2007.4 - 2017.3 早稲田大学 総合機械工学科 (B.S., M.S., Ph.D.)，菅野研究室＆尾形研究室 - 2015.2 - 2016.3, 2017.2-2017.3 ミュンヘン工科大学, ドイツ; (external Ph.D.)，Prof. Gordon - 2017.4 Preferred Networks, Inc., リサーチャー ＜研究内容＞ - ロボットの運動生成のための機械学習（RNN, deep learning） https://sites.google.com/site/kuniyukitakahashi/home 2
- 3. Preferred Networks, Inc. (PFN) • 設立：2014年3月 • 所在地：東京都千代田区大手町（日本）、カリフォルニア州Berkeley（米国） • 従業員数：100名（エンジニア＆リサーチャー） • 出資者：NTT（2014年）, FANUC（2015年）, Toyota（2015, 2017年） • ミッション：IoT時代に向けた新しいコンピュータを創造する あらゆるモノに知能をもたせ、分散知能を実現する • 事業内容：IoT (Internet of Things) + 分散機械学習 - 自動運転 - バイオヘルスケア - 産業用ロボット Deep learning Industrial IoT Manufacturing Automotive Healthcare We are hiring! 3
- 4. 実社会・実環境ロボットにおける機械学習 - これまでのロボット制御 - 機械学習による認識を用いたロボット制御 - 機械学習を用いたロボットの運動生成 本日の内容 4
- 5. 実社会・実環境ロボットにおける機械学習 - これまでのロボット制御 - 機械学習による認識を用いたロボット制御 - 機械学習を用いたロボットの運動生成 本日の内容 5
- 7. 物体操作 & 自由度（Degree of Freedom (DOF)） 物体の位置を一意に決める情報: 物体の座標: x, y, z 物体の姿勢: α, β, γ 物体を操作するための 最小の自由度は６ *必要とされる自由度はタスクに依存 e.g. 書字: 3自由度 (q1, q2, q3, q4, q5, q6) α β γ x y z X Y Z O O’ X’ Y’Z’ q1 q6 q3 q4 q5 q2 7
- 8. 人間の腕の自由度 人間の腕の自由度はいくつか？ A. 7 肩: 3 肘: 2 手首: 2 必要最低限以上の自由度 = 冗長自由度 8
- 9. 順運動学（Forward Kinematics） x = L1cosθ1+ L2cos(θ1 + θ2) y = L1sinθ1 + L2sin(θ1 + θ2) L1 L2 θ1 θ2 (x, y) 三角関数により，一意に定まる 手先座標関節角度 (θ1, θ2) (x, y) 9
- 10. 逆運動学（Inverse Kinematics） L1 L2 (x, y) θ1 , θ2:余弦定理で計算可能 複数解 θ1 = tan-1(y / x) + β θ2 = π - α 手先座標関節角度 (θ1, θ2) (x, y) 10
- 11. L1 L2 (x, y) θ1 , θ2 , θ3 : ??? 4自由度以上になると解析的に解くのは困難． 特に冗長自由度があると解は定まらない． (θ1, θ2 , θ3) L3 逆運動学（Inverse Kinematics） 手先座標関節角度 (x, y) 11
- 12. L1 L2 (x, y)L3 Obstacle θ1 , θ2 , θ3 : ??? (θ1, θ2 , θ3) 手先座標関節角度 (x, y) 4自由度以上になると解析的に解くのは困難． 特に冗長自由度があると解は定まらない． 逆運動学（Inverse Kinematics） 12
- 13. 逆運動学 -数値解析- L1 L2 q1 q2 (x, y) (r1, r2) 1. 順運動学の計算 r = f(q) 2. 目標とするrとの差分からqを更新 q’ = q - J(q)-1(r-rref) J = ∂r / ∂q ↑ Jacobian: qを微小量動かしたときのrへの影響量 3. rが小さくなるまで繰り返し ダイナミクスを考え始めると… 13
- 16. 従来のロボット制御による課題 速さ, 正確さ, コスト効率化… < 課題 > モデル化が困難なもの＆センサ情報をどのように扱うか e.g. ) 不定形物体，高次元なセンサデータ 環境変化への対応が困難 < これまでの工業用ロボット > < これからのロボット > 環境のモデル化 複雑なモデル，少量多品種 環境のモデル化が困難なもの センサ情報との融合 引用：http://www.appraccel.com/blog/2017/1/4/freeing-up-humans-to-do-meaningful-work 16
- 17. 実社会・実環境ロボットにおける機械学習 - これまでのロボット制御 - 機械学習による認識を用いたロボット制御 - 機械学習を用いたロボットの運動生成 本日の内容 17
- 19. 認識部分の機械学習 Amazon Picking Challenge 2016, 7月 ICRA 2017, 6月 https://www.youtube.com/watch?v=w7NgejZMSsA PFN PFN 19
- 20. 認識部分の機械学習：複数の物体（モデル概要） 画像 - セグメンテーション - (40)クラス分類 把持位置 各ピクセルに対してsoftmax “End-to-End Learning of Object Grasp Poses in the Amazon Robotics Challenge, ” ICRA2017 workshop 20
- 21. Amazon Pick Test Results Place 1 2 3 4 5 6 7 8 Team Delft PFN (Preferred Networks) NimbRo Picking MIT Team K ACRV CMU-HARP C^2M Score 105 105 97 67 49 42 33 21 21
- 23. 身体性人工知能（Embodied Artificial Intelligence） 環境 身体 モデル 相互作用 モータ センサ センサ情報から モデルの更新 順逆モデル （Forward/inverse model） 身体と知能は 不可分 23
- 24. e.g. Roomba 単純化 モータ センサ Subsumption architecture[1] (行動規範型A. I.) [1] R. Brooks, “A robust layered control system for a mobile robot,” 1986. 身体性人工知能（Embodied Artificial Intelligence） Credit: iRobot Corporation 24
- 25. 実社会・実環境ロボットにおける機械学習 - これまでのロボット制御 - 機械学習による認識を用いたロボット制御 - 機械学習を用いたロボットの運動生成 本日の内容 25
- 27. 機械学習をロボットに適応するときの課題 - 方策を獲得するまでの試行回数の多さ ->実際のロボットで行うと時間がかかる or 壊れる - シミュレーションと実機との差異 ->シミュレーション後の再学習の必要性 - 未知な環境への低適応性 ->再学習では即時対応が困難 27
- 28. Input Output ... Recovered image 32 x 24 pixels Input Output M(t- W+1) I(t-W+1) M(t-1) I(t-1) ・・・ M(t) I(t) M(t- W+1) I(t-W+1) M(t-1) I(t-1) ・・・ M(t) I(t) Joint angle (8 dims) 12 layers 1140 dims W = 30 steps Image feature (30 dims) (a) (b) ・Deep Autoencoder ・・・ (a) ⇒画像特徴量の抽出 ⇒画像特徴量から画像の復元 ・Deep Time-Delay Autoencoder ・・・ (b) ⇒関節角度と画像特徴量の関係性の学習 ... ...... 深層学習を用いた動作生成（模倣学習） 28
- 29. ＜実際の画像＞ ＜予測画像＞ ＜外部カメラからの画像＞ PR2を用いた実験結果 “深層学習を用いた多自由度ロボットによる柔軟物の折り畳み動作生成, ” IPSJ2016 “Repeatable Folding Task by Humanoid Robot Worker using Deep Learning, ” RA-L2017 https://www.youtube.com/watch?v=LU2nsiz6ISU&list=PLD1ZLEZBjjjPivyK7U-htnL37dqCSJq_b 29
- 30. シミュレーションと実世界との差異の低減 “Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World,” IROS2017 シミュレーション時に画像の色情報を 複数変更することで，実世界でも対応 課題： 環境との相互作用を行うようなもので はシミュレーションとの差異が顕著に 出る e.g. 把持，二足歩行 30
- 31. 31 実機での試行回数の削減（シミュレーション＋実機） “Using Simulation and Domain Adaptation to Improve Efficiency of Deep Robotic Grasping,” 2017 https://arxiv.org/abs/1709.07857 https://www.youtube.com/watch?v=-k0MdN7vW_M 実機とシミュレーションを学習 に使用することで，実機での 試行回数を削減
- 32. “Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations,” 2017 https://arxiv.org/abs/1709.10087 試行回数の削減（教師あり＋強化学習） 人の実演データから次の動作 を真似るポリシーを学習し，そ こから強化学習すると学習時 間と試行回数を大幅に削減 https://www.youtube.com/watch?v=jJtBll8l_OM 32
- 33. 未知な環境への即時対応能力 "Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning,” 2017, https://arxiv.org/abs/1710.06117 Under review in ICRA2018 未知な環境，身体モデルの 変更で対して即時に対応 異なる方策を保存しておくことで実現 https://www.youtube.com/watch?v=qcCepAKL32U PFN 33
- 34. まとめ 速さ, 正確さ, コスト効率化… 環境変化への対応が困難 < これまでの工業用ロボット > < これからのロボット > 環境のモデル化 複雑なモデル，少量多品種 環境のモデル化が困難なもの センサ情報との融合 ソフトウェアとハードウェアは不可分（身体性） - 認知部分に機械学習への適応（産業でのホットトピック） - 制御部分に機械学習への適応（研究でのホットトピック） - マルチモーダル学習（今後の展望） e.g. 触覚，音，自然言語，．．． 34
- 35. 今後の展望：マルチモーダル学習 "Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions,” 2017, https://arxiv.org/abs/1710.06280 Under review in ICRA2018 e.g. 自然言語＋ロボット 曖昧な言語指示に対して， 聞き返しを行うアプローチ https://www.youtube.com/watch?v=_Uyv1XIUqhk&t=19s PFN 35
- 36. まとめ 速さ, 正確さ, コスト効率化… 環境変化への対応が困難 < これまでの工業用ロボット > < これからのロボット > 環境のモデル化 複雑なモデル，少量多品種 環境のモデル化が困難なもの センサ情報との融合 ソフトウェアとハードウェアは不可分（身体性） - 認知部分に機械学習への適応（産業でのホットトピック） - 制御部分に機械学習への適応（研究でのホットトピック） - マルチモーダル学習（今後の展望） e.g. 触覚，音，自然言語，．．． Thank you!! 36