自動機械学習
発端
機械学習、特に深層学習は大量のハイパーパラメータ設定と計算資源を要します。
計算時間も馬鹿にならなく、どのハイパーパラメータが良いのかを、学習を幾度と無く繰り返して決める必要があります。AIと言っても実際にはその設計は非常に泥臭く、人間側の多くの試行錯誤が必要となっています。
機械学習の設計と試験に飽き飽きした
大抵は上手く行きません。世の中に出回るのは、たくさんの失敗の中でひとにぎりの成功を掴んだモデルだけです。この試行錯誤に苛立ちを覚えた研究員は、深層学習のシステムを設計する学習システムの開発に着手しました。
そしてその成果が今回の自動機械学習というわけです。
能力
自動機械学習システムによって構築された言語処理ソフトウェアは、既に人が構築したものを上回るようになりました。また、新たなタスクを追加する際に必要とする訓練データも従来より少数で済むようになっているとのことです。
これは、現在のAI設計者の負担を大きく減らすものだと思います。
その一方で、AI設計者の仕事すらも奪ってしまうということも起こりうるのでしょうか。
自動機械学習のコスト
自動機械学習は確かに高い性能を示しています。
現在各企業がこぞってAIの専門家を集めているところですが、彼らに高いサラリーを払ってAI設計をしてもらうことと、自動機械学習を用いることのどちらを選択するのでしょうか。
現状、すぐに自動機械学習が普及して、AIの専門家すらも必要なくなるような自体は無いでしょう。まず、自動機械学習を行うためにAIの専門家は一定数必要です。
そして、現在の自動機械学習は高性能の画像プロセッサーを800個用いているそうです。
それでようやく1つの自動機械学習システムができるのであれば、そのコストは馬鹿にはなりません。従ってすぐにAIの専門家が必要なくなるということではないでしょう。
自動機械学習の狙い
開発者は
「データ・サイエンティストが抱える負担を軽減できれば、大きな成果です。そうなれば生産性が上がり、よりよい予測モデルを作り、高いレベルのアイデアを探求できるようになります」
と述べています。
論文
[1611.02167] Designing Neural Network Architectures using Reinforcement Learning
どうやら畳み込みニューラルネットの構造を強化学習によって設計していくもののようです。
畳み込みニューラルネットと強化学習といえば、すぐにDeep Q-Networkが思い浮かびますが、これとは構造が真逆であることに注意してください。
DQNは、強化学習により何らかのタスク（囲碁とかゲーム）を学習させるときに、強化学習における未知の評価関数を畳込みニューラルネットで近似するというものです。
つまり強化学習のシステムの補助の役割で深層学習が入っているという形をとっています。
一方で今回の自動機械学習は、畳込みニューラルネットで画像などの認識を行う際に、様々なアーキテクチャが考えられますが、そのアーキテクチャの設計を強化学習で行うというものです。
つまり、深層学習のシステムを構築するために強化学習を使うという形になります。
