フルダイブ技術の実現に向けて

概要

フルダイブ、つまり真の仮想現実/VRを実現する。
その実現には次の3点を明確にする必要がある。

• 何が必要か
• 何が既に実現しているか
• 何が未解決か

この記事ではまず、フルダイブの定義を明確にした。
次に、フルダイブに何が必要かを明らかにした。
そしてその現状をまとめた。

フルダイブ 技術の定義

フルダイブ の原典

「そりゃ、おめぇはもう慣れてるんだろうけどよぉ。おりゃこれが初の《フルダイブ》体験なんだぜ！すっげえよなあ、まったく……マジ、この時代に生きててよかったぜ‼︎」
クライン、《アインクラッド》第一層.
川原 礫. ソードアートオンライン 1 アインクラッド. p.22. 2009.

「フルダイブ」の原典は、2009年に発刊されたライトノベル、ソードアートオンライン (通称, SAO) である. *1 SAOの世界では、ヘッドギア型のマシン/ナーヴギア(VR-HMDとBMIの複合機)を装着して、ゲーム世界にいる ような経験ができる。

フルダイブの定義

SAO第1巻からの素朴な定義として「仮想世界にいることが出来る技術」が考えられる.
具体的には、五感等の感覚情報を自然に感じられ、運動の意図が実現される、技術。

定義は検証方法から作ることができる。つまり「○○を満たすものをフルダイブ技術と呼ぶ」ということ。
私の提案は
「睡眠から目覚めた時に、目の前の現実が現実か仮想現実か判別できない状況を作れる技術」
である。つまり現実と見分けがつかない仮想現実技術のことである.
以後、この記事では、この定義に従って話を進める.

フルダイブに必要な要素

フルダイブに必要な要素は大きく2つに分けられる.

• 感覚入力: 視覚や聴覚など
• 運動出力: 前進、という意図で身体/アバターを動かす

ただし、高いレベルの領域ではこの2つの融合が必要.

感覚入力

代表的なものは

• 視覚
• 聴覚
• 触覚/温度覚/痛覚
• 嗅覚
• 味覚

聞きなれない(であろう)ものとして固有感覚(自分の腕がどこでどう動いているか)もある。

これらの感覚を外部から入力し、内部由来の入力を遮断することが求められる.

外部からの入力によって、目の前の3Dモデルに触ることが出来る.
内部由来の入力を遮断しない場合、仮想現実の世界が晴れでも、外の世界(現実世界)で雨が降る音が聞こえる。これでは台無しである。

運動出力

full-diveの現状で一番ありそうな実現方法は、ヘッドマウントディスプレイ/HMDに映像を投影する方式であろう。
この場合、「前に進みたい」と使用者が考えると自然に映像が前に進む必要がある.
つまり運動の意図を何らかの形で読み取り、画面に反映する必要がある.

また、運動出力の遮断も要求される。
仮想世界で前に進むとき、同時に現実の身体も前進してしまうと、仮想現実は四畳半の広さしかもてない、これは悲しい.
遮断、ではなく、現実への影響を最小限にする、というアプローチもある.

各要素の実現状況

概略

• 感覚入力
  • 視覚: VR-HMD技術が急速に進歩中
  • 聴覚: 三次元立体音源は既に高いレベル
  • 触覚/温度覚/痛覚: 手、など局所では技術あり
  • 嗅覚: アプローチすくなめ、面白いVRデバイスが出つつある
  • 味覚: 電気刺激による擬似味覚
  • 固有感覚: ？
  • 入力遮断: 古典的な方法は色々、薬剤投与とか
• 運動出力
  • 運動の読み出し: 研究が進行中
  • 運動の遮断: 神経科学の基礎研究止まり
  • 口の運動/発話
• 運動感覚: まだまだ

運動出力

• 表情
• 顔の向き
• 上半身/è…•/手
• 下半身
  • æ­©è¡Œ
  • その他/キックetc

物をつかむ

腕の基本的な仕事は、何かを持ち、それを移動させることである.
リンゴであれば掴んで口へ持って行き、剣であれば振り下ろす.

腕の動きについては、Brain-Machine Interface/ブレイン・マシン インターフェイスという分野で研究が進んでいる.
電極を四肢麻痺患者に埋め込む方式 (例. アメリカ, BrainGate2計画)、あるいはヘッドギアからの脳波読み取り.
現在、運動の自由度は最大で確か7(lancet論文)

運動の遮断

大学において、実験動物を用いた実験がなされている。
ある刺激により、運動中のネズミが突如動かなくなるなど、なかなかエキサイティング.
将来のfull-diveに向けて、人への応用が望まれる.
tarepan.hatenablog.com

運動感覚

我々は目を瞑っても「運動した」ことを自覚できる。
よくよく考えると不思議ではないだろうか. 例えば手を挙げる場面を考えよう. 目を瞑ると五感は腕の動きを認識できない(視覚:見えない、触覚:ゆっくり動かしたら風は感じられない、その他:ほぼ関係ない). どうやって我々は「運動した」ことを自覚しているのか？
それは固有感覚によるものである。筋肉の内部には筋肉長センサーがある。筋肉の伸び縮みをこのセンサーが感じる。この情報が各筋肉で発生し、最終的に「運動した」と感じる. 目を瞑っていない状況では、固有感覚や視覚が統合的に感じられ、運動の感覚が生じている.
なので、運動の意図を読み取り、視界が前進しても、前に進んだ感じがしない。
解決法はいくつかある。

1. 実際に歩く
2. センサー(感覚器)の電気信号を模倣する

例えばこんな方法

wired.jp

移動せずに歩く、方法も提案されている。
Vertuix Omni
www.virtuix.com
Vertuix Omniでは物凄い滑る靴を履いて、すり鉢状のスペースを歩く.
すると靴が滑り、中央へ足が戻ってくる、という仕組み.

未解決問題へのアプローチ

アプローチは大きく分けて2つ

• 神経系の働きを明らかにする
• 使えるものを使っていく

神経系の働きを明らかにする

入出力をコントロールするには、入出力を理解すればいい、というアプローチ.
近年研究が加速度的に進んでいる方法は、神経活動を見る方法.
具体的には神経活動によって神経が光る遺伝子改変動物を作成し、光を検出することで運動時や感覚受容時の神経活動を可視化する.
神経科学とVR
tarepan.hatenablog.com

使えるものを使っていく

現在の知識・経験則を使い、full-diveに近いモノを作り、これを改善していくアプローチ.
現在のブレイン・マシン・インターフェースはこれに近いと思われる.
具体的には、「右手動かすときは左脳がよく活動する」という知識を利用し、左脳優位な活動時にロボットの右手を動かす、のような感じ.

フルダイブを研究するには

.Q. フルダイブはどの大学・企業で研究できるか
.A. 自分で切り開くしか無い
現状、フルダイブをメインテーマとする研究室は国内にほぼない。
学術分野としても、無いに等しい.
企業は私詳しく無い.
つまり、フルダイブを研究するには、自分で切り開くしかない.
自分で切り開くとは『何が問題で』『どうやって研究するか』自体を自分で捻り出すということ.
私は、神経科学の側面からフルダイブに取り組みたいと考えている.

より詳細に別記事を書いた.
tarepan.hatenablog.com

初学者へのおすすめ書籍

フルダイブの実現に向けて、フルダイブに関する文献を読みたい。
そんな人向けの書籍紹介

脳の情報を読み解く ―BMIが開く未来―

ATR脳研という、有名な研究所の先生が書いた本.
ブレイン・マシン・インターフェースの研究結果を、一般の人にわかりやすくまとめてある.
脳波からジャンケンの手を予想するなど、キャッチ―な研究結果多数.
研究の最前線を覗いてみたい人におすすめ.

脳の情報を読み解く BMIが開く未来 (朝日選書)

posted with ヨメレバ

川人 光男 朝日新聞出版 2010-08-10

Amazonで詳しく見る

60分でわかる！ VRビジネス最前線

VRってなに？、VRって実際はどんなマシンがどんな仕組みで動き、どんなビジネスの種があるの？をわかりやすく解説.
VR初学者にとてもおすすめ. 良くまとまった書籍なので、わかっている人も手元に一冊あってよさそう.

60分でわかる! VRビジネス最前線 (60分でわかる! IT知識)

posted withヨメレバ

VRビジネス研究会 技術評論社 2016-10-22

Amazonで詳しく見る

Kindleで詳しく見る

まとめ

整備中

良いまとめだ、褒美をやろう、と思った方

おひねりを頂ければ幸いです
Amazonでおひねりを投げる

筆者について

大学院生.
専攻は神経生理学, 細胞生物学.
自分の研究は「神経細胞内の熱ダイナミクス」と「歩行リズム生成原理の解明」.
研究室としては「先端光学技術の応用による細胞内分子ダイナミクス」「シナプス可塑性」「膜電位イメージング」あたりが現在の主流キーワード.
SAOは第1巻が出た頃に買って、まぁ寝ずに読んだ覚えがありますよね.

*1:SAOは創作web小説が原作なので、原作での扱いは残念ながらわからない。クラインと序盤で会わないらしいので、おそらく本当の原典は違う。