人工知能に関する断創録

このブログでは人工知能のさまざまな分野について調査したことをまとめています（更新停止: 2019年12月31日）

人工知能を実現する学習アルゴリズムに必要な能力

Deep Learning 人工知能 機械学習

今年は、Deep Learningを研究する予定（2014/1/4）だったのだけれど、多層パーセプトロンまで到達した（2014/2/5）ところで少々（？）足踏みしている。Deep Learningの構成要素であるボルツマンマシンを理解するのに手間取っているためだ。ボルツマンマシンの理解には、マルコフ確率場やMCMCの理解が必要なことがわかったので少し廻り道してモンテカルロ法を先に勉強（2014/6/20）していたというわけ。

ただ、そればかりでは少々退屈になってきたので少し先回りして Deep Learning の先駆者のBengioさんが書いた論文 Learning Deep Architectures for AI を勉強している。示唆に富む見解が多いのであとで振り返られるように記録しておきたい。

まずは、1.1節のDesiderate for Learning AIの部分。人工知能を実現する学習アルゴリズムに必要だと思われる能力がまとめられている。ちょっと書き出しておく。英語が難しくて翻訳が怪しいけど・・・

  • 複雑で非常に多様な関数を学習する能力。たとえば、訓練データの数より多様性の数がずっと大きい関数を学習する能力。
  • 人工知能タスクに必要とされる複雑な機能を表すのに役立つ、低次、中次、高次の抽象概念を人間の手助けなしで学習する能力。
  • 非常に大量の例から学習する能力。訓練の計算時間が訓練数に対してよく（たとえば、線形に近いオーダーで）スケールするべき。
  • 主にラベルなしのデータから学習する能力。たとえば、訓練データの一部に正しいラベルが付いていない半教師あり学習の設定で動くこと。
  • たくさんのタスクに存在する相乗作用を利用する能力。たとえば、マルチタスク学習。すべてのAIタスクは同じ基礎をなす事実に対して異なる見方を提供するためそれらの相乗作用は存在する。
  • たくさんのタスクがあり、かつ将来のタスクが事前にわからないという制約の中では、強力な教師なし学習（たとえば、観測データ内の統計的構造を抽出する能力）が重要な要素となる。

以下は、Deep Learningとは関係ないが、同じくらい重要な能力として挙げられている。

  • 多様な長さと構造の文脈を表現することを学ぶ能力。
  • 機械が観測の流れの中で動作し、行動の流れを生成できること。
  • 行動が未来の観測と未来の報酬に影響する状況下で決定を下せる能力。たぶん、強化学習のこと。
  • 世界についてより関連のある情報を収集するために未来の観測に影響を与える能力。たとえば、能動学習。

優先度の違いはありそうだけど、特に異論はない。いくつか、重要なキーワードが得られたので個別のテーマについては後で掘り下げたい。この論文に関する勉強会の資料を松尾さんがアップロードされていたので内容を理解する上で参考になった。

ちなみに、私が人工知能の重要な能力だと考えているのは、

  1. 連想する能力
  2. 選好を創発させる能力
  3. 有限のアルゴリズムで無限の多様性を生成する能力

Deep Learningに興味を持ったのは、分散表現が学習できるということで1番目のテーマと関係があるから。ニューラルネットの拡張ということで何となく識別しかできないと思っていたのだが、前にTwitterで

とつぶやいていたら分散表現からパターンを生成できるShape Boltzmann Machine（PDF）というのがあるよと教えてもらった。概要を見ると

We show that the ShapeBM characterizes a strong model of shape, in that samples from the model look realistic and it can generalize to generate samples that differ from training examples. We find that the ShapeBM learns distributions that are qualitatively and quantitatively better than existing models for this task.

と書いてある。そうだとすると3番目とも関係が出てきたわけでDeep Learningを勉強するモチベーションがすごくわいている。まあ紹介していただいた論文は難しくてまだ理解できなかったわけですが（笑）

また後で愚痴を書こうと思うけれど、実を言うとニューラルネットのアプローチは昔からあまり好きではなかった。数学が難しいから。・・・けれどがんばって理解できるようになりたい。楽しそうに思えてきたから。