「トム・ハンクスの顔の謎」を解明する機械学習アルゴリズム

冒頭画像の右側は、ゴムでできた異星人のようなトム・ハンクスの顔の複製だ。よくできたロウ人形のように見えるかもしれない。実はこれは、機械学習アルゴリズムによって作成された、コンピューター生成のデジタルモデルだ。

このモデルは、外観、癖、動き方などについて「トム・ハンクスをトム・ハンクスらしく見せるものは何か」という問いに答えようとしたワシントン大学の研究者チームが作成したものだ。

研究チームは、オンラインで入手できる多数の画像からデジタルモデルを作成した。従来のような顔画像のキャプチャー技術とは異なり、このモデルでは本人が参加する必要はない。

研究チームは、数千に及ぶトム・ハンクスの画像を組み合わせて、多層から構成される、マルチアングルの「3Dパペット」を作成した。最も多い表情は、モデルが「くつろいでいる」顔で、これにテクスチャを重ねることにより、笑顔から渋い顔までのさまざまな変化をつくりだす。

このシステムでつくれるのはトム・ハンクスだけではない。表情や動きを別の人物の顔に移植することができるのだ。十分な映像データがあれば、モデルをアニメーション化してスピーチさせることもできる。たとえば以下の画像は、ジョージ・ブッシュ元大統領の顔をほかのさまざまな有名人にマッピングし、元大統領のスピーチを、さまざまな顔モデルに語らせたものだ。

このシステムには、3Dでの顔の復元、顔の追跡と配置調整、テクスチャ（質感）・モデリング、パペット（操り人形）化など、数多くの技術が使われている。

理論的には、この技術を利用して、現実世界の人物、たとえば遠方に住む親戚や友人などを仮想現実の世界に呼び出すことができる。ただし、現在のシステムではかなり多くの異なる写真を必要とするため、まだ難しいと言えそうだ（大学のリリースによれば、200以上のインターネット画像があればモデル作成が可能だという）。

関連記事： 「ニセの表情」を見破るコンピューターの目、その仕組み

TEXT BY EMILY REYNOLDS

IMAGES BY UNIVERSITY OF WASHINGTON

VIDEO BY SUPASORON SUWAJANAKORN

TRANSLATION BY MAYUMI HIRAI/GALILEO