Googleの検索エンジンに「過去5年で最大の飛躍」。新たな言語処理モデル「BERT」の秘密

「Google 検索」が大きな進化を遂げようとしている。このほどグーグルが「BERT（Bidirectional Encoder Representations from Transformers）」と呼ばれる機械学習の手法によって、Google 検索におけるランキングシステムの性能を強化したことを明らかにしたのだ。

「セサミストリート」のキャラクター「バート」にちなんだ名をもつBERTは、グーグルの人工知能（AI）ラボで開発され、18年秋に発表された言語処理モデルである。AIソフトウェア向けの読解力テストでは、記録更新を達成している。

文章検索の結果がより正確に

10月24日に開かれた説明会に登壇したグーグルの検索担当副社長パンドゥ・ナヤックは、BERTが長い検索フレーズを使う場面や、検索ワード同士の関係が非常に重要な意味をもつ場面におけるGoogle 検索のアルゴリズムを大きく改善したと説明している。

「これは過去5年間で最大の飛躍です」と、ナヤックは言う（少なくともランキングの変化でユーザーの探しものが見つかりやすくなると考えるグーグルにとってはそうだ）。グーグルは詳細を語らなかったが、これまでテスト段階にあったアップグレードは現在広く実装されているという。

グーグルはBERTのパワーについて、「Parking on hill with no curb（縁石のない丘に駐車）」という検索ワードを例にとって説明した。現行の検索アルゴリズムでこの検索ワードを入れると、「縁石のある丘」を検索しているかのような結果が出る。しかし、BERTを使用したヴァージョンでは、道路の脇に車輪を向けるように運転手にアドヴァイスするページがハイライトされるという。

「2019 brazil traveler to usa need a visa（2019年 米国へのブラジル旅行者 ヴィザは必要）」という検索フレーズも例に出た。人間にとっては、米国に向かうブラジル人に必要なものを検索していることが明白だが、BERT以前のGoogle 検索では、重要な「to（へ）」を取り違え、「ブラジルに旅行する米国人」についての記事を結果のトップに表示していた。しかしBERTにより、検索エンジンは北に向かうブラジル人に必要なものに関するページを正しく表示できた。

Google検索は1日に何10億回と利用されているが、グーグルいわくBERTによるアップグレードはその1割ほどに影響を与えるという。しかし、ほとんどのユーザーはおそらく気づかないだろうとナヤックは話す。

とはいえ、この変更はユーザーやグーグルにとって重要なものだ。別の検索エンジンを試したことがあれば、Google 検索がユーザーの期待に合った答えを返すことが、どれほど重大な意味をもちうるのかわかるだろう。

米国外のユーザーたちは、もっとも大きな変化を経験することとなる。BERTのアップグレードにより、特に英語以外の言語において、いわゆる「強調スニペット」用の識別機能が大幅に向上したとナヤックは言う。

機械に「言葉の文脈内での意味」を教えるには？

グーグルのアップグレードは、言語理解を試みるソフトウェアのここ数年の進化のなかでも注目すべき一例だ。グーグルは、機械学習アルゴリズムに特定の単語が使われる文脈を分析させた。これにより、言語の微妙な違いを解読する能力を大幅に向上させたのである。

機械学習は、ソフトウェアに画像やテキストといったデータの分類・解釈を教える格好の手段だ。ただし、通常は各プログラムをそれぞれ実例データを使って「訓練」しなくてはならない。そしてテキスト文書については、これが大変である場合が多い。実際のプロジェクトでは、まず誰かにお金を払い、「この文章は『低評価レヴュー』、これは『高評価レヴュー』」といったように、データにラベリングしてもらわなければならないのだ。

だが2018年の春夏、OpenAIおよびアレン人工知能研究所は、もっと簡単で有力な方法を提案した。機械学習プログラムに単語の違いを教えたのだ。プログラムに該当の一単語だけでなく、同じ文章や違う文章内のほかの単語も合わせて参照させることにより、5月の「May」、助動詞の「may」、人名の「May」のような同音同型異義語に至るまで単語を識別できるようにした。

この手法で、非常に大きな訓練データ群を使って訓練されたモデルは、言語のだいたいの意味を把握するようになった。その後、このプログラムはさらに比較的少数のラベル付きデータを使って訓練され、特定の作業に特化するようになる。

当時、アレン人工知能研究所は同社のシステムの名称を「Embeddings from Language Models（言語モデルからの埋め込み）」の略である「ELMo（エルモ）」とした。グーグルの研究者たちが、2018年に同社の新しい言語処理モデルに名前をつけるとき、セサミストリートを思い浮かべたのはそのためだ。

さらに上がるハードル

OpenAIとアレン人工知能研究所およびグーグルのソフトウェアは、AI向けの言語テストにおいて新記録を出している。「みんなとても興奮しています。進化がとても速いからです」とOpenAIの言語プロジェクトに携わったジェフ・ウーは語る。

ただし、これにはひとつ副作用がある。研究者たちは、基礎的な文章内容の把握といったタスクの評価のために、さらに難しいテストを新たに考案しなくてはならなかったのだ。

とはいえ、BERTが大学生の論文を批評できるわけではない。「言語は信じられないほど繊細で、さまざまなニュアンスを含んでいます」とナヤックは語る。

グーグルが検索ボックスの言語面での使いやすさを改善するたび、人々はさらに複雑で難解な検索ワードを入力するようになる。それによってグーグルの文を解釈するロボットが超えなければならないハードルが実質的に引上げられるのだ、とナヤックは言う。

※『WIRED』による「Google 検索」の関連記事はこちら。

政治的対立を生むGoogle検索、そのアルゴリズムが抱える根深い問題

TEXT BY TOM SIMONITE