たれぱんのびぼーろく

わたしの備忘録、生物学とプログラミングが多いかも

フルダイブ技術の実現に向けて

概要

フルダイブ、つまり真の仮想現実/VRを実現する。
その実現には次の3点を明確にする必要がある。

  • 何が必要か
  • 何が既に実現しているか
  • 何が未解決か

この記事ではまず、フルダイブの定義を明確にした。
次に、フルダイブに何が必要かを明らかにした。
そしてその現状をまとめた。
f:id:tarepan5884:20160630231922j:plain

フルダイブ 技術の定義

フルダイブ の原典

「そりゃ、おめぇはもう慣れてるんだろうけどよぉ。おりゃこれが初の《フルダイブ》体験なんだぜ!すっげえよなあ、まったく……マジ、この時代に生きててよかったぜ‼︎」
クライン、《アインクラッド》第一層.
川原 礫. ソードアートオンライン 1 アインクラッド. p.22. 2009.

「フルダイブ」の原典は、2009年に発刊されたライトノベルソードアートオンライン (通称, SAO) である. *1 SAOの世界では、ヘッドギア型のマシン/ナーヴギア(VR-HMDBMI複合機)を装着して、ゲーム世界にいる ような経験ができる。

フルダイブの定義

SAO第1巻からの素朴な定義として「仮想世界にいることが出来る技術」が考えられる.
具体的には、五感等の感覚情報を自然に感じられ、運動の意図が実現される、技術。

定義は検証方法から作ることができる。つまり「○○を満たすものをフルダイブ技術と呼ぶ」ということ。
私の提案は
「睡眠から目覚めた時に、目の前の現実が現実仮想現実か判別できない状況を作れる技術」
である。つまり現実と見分けがつかない仮想現実技術のことである.
以後、この記事では、この定義に従って話を進める.

フルダイブに必要な要素

フルダイブに必要な要素は大きく2つに分けられる.

  • 感覚入力: 視覚や聴覚など
  • 運動出力: 前進、という意図で身体/アバターを動かす

ただし、高いレベルの領域ではこの2つの融合が必要.

感覚入力

代表的なものは

  • 視覚
  • 聴覚
  • 触覚/温度覚/痛覚
  • 嗅覚
  • 味覚

聞きなれない(であろう)ものとして固有感覚(自分の腕がどこでどう動いているか)もある。

これらの感覚を外部から入力し、内部由来の入力を遮断することが求められる.

外部からの入力によって、目の前の3Dモデルに触ることが出来る.
内部由来の入力を遮断しない場合、仮想現実の世界が晴れでも、外の世界(現実世界)で雨が降る音が聞こえる。これでは台無しである。

運動出力

full-diveの現状で一番ありそうな実現方法は、ヘッドマウントディスプレイ/HMDに映像を投影する方式であろう。
この場合、「前に進みたい」と使用者が考えると自然に映像が前に進む必要がある.
つまり運動の意図を何らかの形で読み取り、画面に反映する必要がある.

また、運動出力の遮断も要求される。
仮想世界で前に進むとき、同時に現実の身体も前進してしまうと、仮想現実は四畳半の広さしかもてない、これは悲しい.
遮断、ではなく、現実への影響を最小限にする、というアプローチもある.

各要素の実現状況

概略

  • 感覚入力
    • 視覚: VR-HMD技術が急速に進歩中
    • 聴覚: 三次元立体音源は既に高いレベル
    • 触覚/温度覚/痛覚: 手、など局所では技術あり
    • 嗅覚: アプローチすくなめ、面白いVRバイスが出つつある
    • 味覚: 電気刺激による擬似味覚
    • 固有感覚: ?
    • 入力遮断: 古典的な方法は色々、薬剤投与とか
  • 運動出力
    • 運動の読み出し: 研究が進行中
    • 運動の遮断: 神経科学の基礎研究止まり
    • 口の運動/発話
  • 運動感覚: まだまだ

運動出力

  • 表情
  • 顔の向き
  • 上半身/腕/手
  • 下半身
    • 歩行
    • その他/キックetc

物をつかむ

腕の基本的な仕事は、何かを持ち、それを移動させることである.
リンゴであれば掴んで口へ持って行き、剣であれば振り下ろす.

腕の動きについては、Brain-Machine Interface/ブレイン・マシン インターフェイスという分野で研究が進んでいる.
電極を四肢麻痺患者に埋め込む方式 (例. アメリカ, BrainGate2計画)、あるいはヘッドギアからの脳波読み取り.
現在、運動の自由度は最大で確か7(lancet論文)

運動の遮断

大学において、実験動物を用いた実験がなされている。
ある刺激により、運動中のネズミが突如動かなくなるなど、なかなかエキサイティング.
将来のfull-diveに向けて、人への応用が望まれる.
tarepan.hatenablog.com

運動感覚

我々は目を瞑っても「運動した」ことを自覚できる。
よくよく考えると不思議ではないだろうか. 例えば手を挙げる場面を考えよう. 目を瞑ると五感は腕の動きを認識できない(視覚:見えない、触覚:ゆっくり動かしたら風は感じられない、その他:ほぼ関係ない). どうやって我々は「運動した」ことを自覚しているのか?
それは固有感覚によるものである。筋肉の内部には筋肉長センサーがある。筋肉の伸び縮みをこのセンサーが感じる。この情報が各筋肉で発生し、最終的に「運動した」と感じる. 目を瞑っていない状況では、固有感覚や視覚が統合的に感じられ、運動の感覚が生じている.
なので、運動の意図を読み取り、視界が前進しても、前に進んだ感じがしない。
解決法はいくつかある。

  1. 実際に歩く
  2. センサー(感覚器)の電気信号を模倣する

例えばこんな方法

wired.jp

移動せずに歩く、方法も提案されている。
Vertuix Omni
www.virtuix.com
Vertuix Omniでは物凄い滑る靴を履いて、すり鉢状のスペースを歩く.
すると靴が滑り、中央へ足が戻ってくる、という仕組み.

未解決問題へのアプローチ

アプローチは大きく分けて2つ

  • 神経系の働きを明らかにする
  • 使えるものを使っていく

神経系の働きを明らかにする

入出力をコントロールするには、入出力を理解すればいい、というアプローチ.
近年研究が加速度的に進んでいる方法は、神経活動を見る方法.
具体的には神経活動によって神経が光る遺伝子改変動物を作成し、光を検出することで運動時や感覚受容時の神経活動を可視化する.
神経科学とVR
tarepan.hatenablog.com

使えるものを使っていく

現在の知識・経験則を使い、full-diveに近いモノを作り、これを改善していくアプローチ.
現在のブレイン・マシン・インターフェースはこれに近いと思われる.
具体的には、「右手動かすときは左脳がよく活動する」という知識を利用し、左脳優位な活動時にロボットの右手を動かす、のような感じ.

フルダイブを研究するには

.Q. フルダイブはどの大学・企業で研究できるか
.A. 自分で切り開くしか無い
現状、フルダイブをメインテーマとする研究室は国内にほぼない。
学術分野としても、無いに等しい.
企業は私詳しく無い.
つまり、フルダイブを研究するには、自分で切り開くしかない.
自分で切り開くとは『何が問題で』『どうやって研究するか』自体を自分で捻り出すということ.
私は、神経科学の側面からフルダイブに取り組みたいと考えている.

より詳細に別記事を書いた.
tarepan.hatenablog.com

初学者へのおすすめ書籍

フルダイブの実現に向けて、フルダイブに関する文献を読みたい。
そんな人向けの書籍紹介

脳の情報を読み解く ―BMIが開く未来―

ATR脳研という、有名な研究所の先生が書いた本.
ブレイン・マシン・インターフェースの研究結果を、一般の人にわかりやすくまとめてある.
脳波からジャンケンの手を予想するなど、キャッチ―な研究結果多数.
研究の最前線を覗いてみたい人におすすめ.

60分でわかる! VRビジネス最前線

VRってなに?VRって実際はどんなマシンがどんな仕組みで動き、どんなビジネスの種があるの?をわかりやすく解説.
VR初学者にとてもおすすめ. 良くまとまった書籍なので、わかっている人も手元に一冊あってよさそう.

まとめ

整備中

良いまとめだ、褒美をやろう、と思った方

おひねりを頂ければ幸いです
Amazonでおひねりを投げる

筆者について

大学院生.
専攻は神経生理学, 細胞生物学.
自分の研究は神経細胞内の熱ダイナミクス」と「歩行リズム生成原理の解明」.
研究室としては「先端光学技術の応用による細胞内分子ダイナミクス」「シナプス可塑性」「膜電位イメージング」あたりが現在の主流キーワード.
SAOは第1巻が出た頃に買って、まぁ寝ずに読んだ覚えがありますよね.

*1:SAOは創作web小説が原作なので、原作での扱いは残念ながらわからない。クラインと序盤で会わないらしいので、おそらく本当の原典は違う。