「今度はポーカー」人間を下した囲碁AIの開発者

囲碁の勝負では人工知能（AI）が勝ったが、ポーカー用のAI開発には、囲碁にはないさまざまな課題が存在する。人間の動きが予測不可能だという点がそのひとつだ。

しかし、ポーカーを巧みにプレイできるAIの研究は各地で行われている。そしてこのほど、プロの人間のパフォーマンスにかなり「近づいた」というシステムに関する研究論文が発表された。

囲碁でだめなら、お次はポーカーだ──人類に残された「AIとのゲーム」

「またこれから学ぶことが増えました」AlphaGoとイ・セドルが、囲碁にもたらしたもの、AIにもたらしたもの

なぜ「囲碁」だったのか。なぜ「10年かかる」と言われていたのか──AlphaGo前日譚

囲碁で世界チャンピオンに勝利したDeepMind（ディープマインド）の開発にも参加しているデイヴィッド・シルヴァーを含む、ユニヴァーシティ・カレッジ・ロンドンの研究チームは、「不完全情報ゲームにおけるセルフプレイからの深層強化学習（Deep Reinforcement Learning from Self-Play in Imperfect-Information Games）」という論文（PDF）を公開した。

この研究では、「テキサス・ホールデム」（ポーカーの一種で、米国のカジノでは一般的）と、単純化したポーカー「ルダック（Leduc）」をプレイできる一連の強化アルゴリズムが作成された。

研究チームによると、このAIは戦略に関する事前知識がなくてもゲームを学習することができ、ひとりで架空の試合を行うことで独学していくという。

論文によると、作成された「ニューラル・フィクティシャス・セルフプレイ（Neural Fictitious Self-Play）」法は、深層強化学習を使用して、「ゲームでの対戦経験から直接学ぶ」と説明している。ニューラルネットワークを活用しつつ、間違いから学習してゲームに勝つ方法を編み出すのだ。

研究者たちによると、作成したモデルは、ルダックではナッシュ均衡（ほかのプレイヤーの戦略を所与とした場合、どのプレイヤーも自分の戦略を変更することによってより高い利得を得ることができない戦略）をシミュレートできた。テキサス・ホールデムでも、それに近い状態を実現できたという。

論文筆者である研究生のハインリッヒ氏は『ガーディアン』紙の記事で、「この手法は、戦略が求められる実世界の問題にも適用できると考えています」と語っている。

なお、2015年4月には、カーネギーメロン大学が開発したAIが、初めてテキサス・ホールデムの試合で人間と対戦している（日本語版記事）。

14日間をかけて行われたこの試合では、人間が73万2,713ドル勝って終わった。ちなみに人間側とAI側が掛けた金額は合計で理論上1億7,000万ドルに上っている。

AIが苦戦したのは、掛け金を上げていく人間への対応方法だった。人間による賭けを予測できないということは、AIがゲームを把握できていないということと同じだからだ。

またAIが、手のなかにあるカードがなぜゲームに影響を与えるかを理解できないという点も、人間にとってのアドヴァンテージとなった。つまり人間にとって、コンピュータープログラムが弱い手でブラフをかけているかどうかを見分けるのは簡単だったのだ。

第1特集「人工知能はどんな未来を夢見るか」では、『WIRED』US版創刊編集長のケヴィン・ケリーによる論考をはじめ、ベン・ゲーツェル、PEZY Computing・齊藤元章、全脳アーキテクチャ取材記事やAIコミック「シンギュラリティ・ロック」を掲載。第2特集「未来都市TOKYOのゆくえ」では、テクノロジーとデザインが変えゆくTOKYOの未来の姿を考察。建築家ビャルケ・インゲルスのや、「デスラボ」カーラ・マリア＝ロススタインの死の都市TOKYO彷徨記など盛りだくさんの内容。

TEXT BY MATT BURGESS

TRANSLATION BY MIHO AMANO, HIROKO GOHARA/GALILEO