これで夢の中の風景も記録できるようになるかも...スキャンした脳の活動から映像を再現するシステム（動画あり）

左が元の映像、右が再現されたものです。

カリフォルニア大学バークレー校の研究者らが、人間の脳の視覚活動をキャプチャーして、デジタルな動画として再現できるシステムを開発しました。この研究が進んでいけば、夢で見た映像をコンピュータースクリーン上で再現できるようになりそうです。

なんだかそれこそ夢みたいな話で、現実じゃないような気もします。でも、今回学術雑誌｢Current Biology｣に発表されたこの研究論文の共著者にしてカリフォルニア大学バークレー校の神経学者のジャック・ギャラント教授によれば、｢今回の研究は、人間の心の中のイメージを再現することに向けた大きな飛躍となりました。我々は心の中の映像をまさにのぞこうとしているのです。｣

いやーすごいですね。でも、僕はわくわくすると同時に恐怖も感じます。システムの仕組みは以下のようになっています。

被験者は3人使われました。この実験の被験者は1回に何時間もfMRIの中にいる必要があったため、3人はすべて研究チームの中から選ばれました。まず、彼らは2つにグルーピングされたハリウッド映画の予告編を見せられ、その間にfMRIが彼らの脳の視覚野における血流を記録していきました。

fMRIのデータはコンピュータープログラムに渡され、そこで3Dのピクセル要素（研究チームの用語では｢voxels（volumetric pixels）｣）に分解されます。このプロセスでは、映像によって発生した脳の信号をデコードし、映像の中の形や動きといった情報を脳の活動と結びつけます。実験が進むとともに、コンピューターはスクリーンに映し出される内容と脳の活動の対応をどんどん学習していきました。

・1800万秒の映像のパレット

映像と脳の活動の対応を記録した後、別の動画クリップのグループによって被験者に見せられた映像が再現されました。コンピューターがYouTube上のランダムな動画を1800万秒分分析し、それぞれの動画に対して起こりうる脳の反応のデータベースを作ります。プログラムはこれらの動画の中から、被験者が見た映像による脳内活動と似通った脳内活動を起こした動画を100件ピックアップします。そしてそれらの動画を融合させてひとつの動画にします。そのようにできあがった動画は解像度が低くぼやけてはいますが、被験者が見た映像の内容と明らかにマッチしています。

1800万秒分のランダムな動画は、画家のパレットであると考えてみましょう。画家は実物の赤いバラを見ながら、パレットにあるいろいろな色を組み合わせてバラの赤を再現しようとします。上の実験では、プログラムが画家で、1800万秒の動画がカラーパレットです。プログラムは、脳が特定の刺激に対しどのように反応したかを分析し、パレットにある1800万秒の動画への脳の反応と比較して、より近い反応をしているものをピックアップします。そして動画クリップを融合させて新たなクリップを作り出し、被験者が見ている動画を再現しようとするのです。もちろん、1800万秒の動画は被験者が実際に見ている動画とは異なります。でもそれらが組み合わされることによって、被験者の脳内に描かれたイメージが再現されていくのです。

十分な大きさの動画素材データベースとコンピューターパワーがあれば、このシステムは脳内のどんなイメージでも再生できます。

こちらのもうひとつの動画では、3人の被験者がfMRIで見た映像と、プログラムが作り出した再現動画、そして再現動画を合成するために使われたYouTubeの動画を見比べることができます。左上の枠には、被験者がfMRIにいるときに見た映像が表示されています。その下にある動画の列の左端の枠には、3人の脳の活動をもとに作り出された動画が表示されています。これを見ると、このシステムでは｢何を見ているか｣｢誰が見ているか｣に関係なく、一貫性のある結果が得られることがわかります。左から2番目以降に並んでいる動画クリップは、プログラムが視覚情報を再現するために使ったランダムな映像群です。

現段階での結果のクオリティは高くありませんが、ポテンシャルは非常に大きいです。この研究のリーダーであり被験者のひとりでもあった西本伸志氏は、これは脳が見たり想像したりするものを直接取り出すための最初のステップだと言います。

我々が自然に行っている視覚体験は、（訳注：静止画でなく）映画を見るのに似ています。この技術が広い応用性を持つためには、我々は脳がこうした動的な視覚体験をどのように処理しているのかを理解する必要があります。

・いつかは脳内レコーダー？

視覚記憶や夢や、想像したものををキャプチャーすることができるんですね...。そしてそれを動画にして、自分で見たり、第三者に見せたりすることが可能になるって...。

この技術では、脳の活動をデコードしてコンピューター上で動画として再現することが史上初めて可能になっています。これから、どんなことになっていくんでしょう？ つい、カルト・ムービーの『ブレインストーム』を思い出してしまいます。クリストファー・ウォーケン率いる研究者集団が人間の五感を記録できる機械を開発し、それを脳の中で再生するという内容でした。

この研究によって、我々はまたひとつ、いつかはたどりつくゴールに近づいたのかもしれまん。コンピューターパワーが引き続き増大し、人体への理解も進んでいくことを考えると、そのゴールは想像以上に早くやってくるのかもしれません。そしていつかは、｢Sony Dreamcam｣とかロゴの入ったバンドを頭に巻いて寝るようになるのかもしれません。

[UC Berkeley]

Jesus Diaz（原文／miho）