フルダイブの現状②
感覚情報の書き込み(Input)について
さて、今回も前回に引き続きフルダイブVRに必要な工程についてまとめていきます。
前回は仮想体を動かすために必要な工程でしたが、今回は仮想体に生じた変化や刺激を、感覚として実体に送る工程です。
ちなみに感覚とは、ある物理的エネルギーに対し、特定の細胞が特定の反応を示す事で脳にそれを感知させるシステムの事です。
では、感覚には具体的にどんなものがあるのでしょうか。
一般的に皆さんが思いつくのは視・聴・嗅・味・触覚...いわゆる五感くらいでしょうか。しかし、これらは数ある"感覚"の中でも極一部でしかないのです。
まずは、感覚の種類について紹介します。
実は、感覚の種類やその区分には色々な説があったりするのですが、大体は上の図にある通りです。
順を追って説明しましょう。
まず感覚は、大きく分けて次の３つのグループに分けられると考えられています。
1.特殊感覚
眼球や鼻、耳などの器官(多数の細胞の集まり=組織、の集まり)で感じる感覚の総称です。よく五感としてまとめられる"触覚”は外れていますが、代わりに平衡感覚(バランス)が入れられています。
2.体性感覚
大きく分けて表面感覚と深部感覚の２種類があります。表面感覚には、物の感触や硬さ、温度や体表面の痛みを感じるものがあり、体表に無数に分布している感覚細胞(刺激を感知する細胞で、各感覚器官でそれぞれの刺激に対応した独自の細胞を持つ)によって感知されます。
深部感覚については、実感のわかない人も多いかもしれません。簡単に言うと、自分の体の各部分の位置や運動を感知する感覚です。これらは、関節などの動きや状態から感知されていて、体にかかる抵抗や重力などもこの感覚によって感知されています。
3.内臓感覚
内臓感覚とは、文字どおり内臓で発生する感覚の総称で、内臓の痛みや空腹感、便意から性欲まで含みます。これらは、内臓内環境の化学物質の濃度などの変化を受容する細胞によって生じます。
では次に、もしこれらの感覚がなくなったらどうなるのか考えてみます。
特殊感覚...目が見えなかったり、耳が聞こえなかったりします。一大事ですね。
表面感覚...物に触れてる事に気づきませんから、いつのまにか怪我をしていたり火傷をしてしまっているかもしれません。
深部感覚...目を瞑って手を合わせてみてください。これが出来なくなります。また、まともに歩く事も出来ないでしょうし、握手をした相手の手を握りつぶしてしまうかもしれません。
内臓感覚...気付いた時にはおもらしをしていたなんて事もあるかもしれません。
さて、この中で、フルダイブをするにあたって機械側で再現して、体に Input しなければならない感覚は何でしょうか。
特殊感覚と体性感覚(表面感覚・深部感覚)ですね。内臓感覚に関しては、むしろ実体の情報を伝えてあげないと、フルダイブ中に色々と事故が発生する危険があります。
我々が再現すべきは、特殊感覚と体性感覚の２種類です。
では現状、これらの感覚を再現する技術はあるのでしょうか？
まずは特殊感覚から調べていきましょう。
感覚を再現するにあたって理想的なのは、神経や脳を直接刺激する事ですが、特殊感覚に限っては違ったアプローチが主流となっています。実際にその物理的刺激を発生させる方式です。
今のVR技術がまさにその代表例と言えるでしょう。視界いっぱいを覆うディスプレイに、視界と同じような映像を映す事で、視覚という感覚を再現していますよね。ヘッドホンによる立体音響も同じように、直接耳を刺激する事で聴覚を再現しています。
神経や脳を刺激する方法だと、明確な情報を伝える事はまだできないようです。
しかし、神経(感覚細胞)を刺激する技術も注目されつつあります。Samsung が以前発表した、現在開発中のVR用デバイス "Entrim 4D"にも使用されているGVS(ガルバニック前提刺激)と呼ばれる技術などです。
この技術(GVS)は、装着者の内耳(耳の奥にある、平衡感覚を司る感覚器官のある場所)に微弱な電気を流し、感覚細胞を刺激する事で、脳が感じる重力や体の回転などの情報を操作する技術です。実際に Entrim 4D を着けた場合、遠心力や落下感を感じることができるそうです。
では、体性感覚についてはどうでしょう？
表面感覚については、グローブなどを通して皮膚そのものを刺激する方式が試みられていますが、温度や感触の再現がまだまだ難しいようです。また、特定の筋肉に電気刺激を与え、収縮させることで指などを引っ張り、擬似的に触覚を再現しようとする、擬似力触覚といった技術もあります。
深部感覚は残念ながら、電気刺激を与える事で狂わせる事は出来るようですが、意のままの情報として入力をする事は成功していないようです。深部感覚は体の各部の位置や角度を感知するもので、それはそれぞれの関節や筋で行われると説明しましたが、そうなると深部感覚の入力はその対象が無数に存在する事になってしまいます。道のりは遠そうです。
しかし深部感覚に関しては、もし将来、脳への情報入力が可能な時代になったら、入力先は脳の体性感覚野に限定されるでしょう。体の各部位の位置などは、VR空間上なら相対的な位置座標として情報を送ればいいでしょうし、そうなると案外楽になるのかもしれませんね。
このようにまとめてみますと、やはり脳や神経への Input 技術はまだまだ研究の始まったばかりの分野で、発展途上である事がわかります。しかし、様々な技術によって日々目まぐるしく成長していく分野でもあり、そう遠くない未来には、少なくとも感覚の面では現実に限りなく近いダイブが可能になるのではないかとも感じさせられます。
これら無数に存在する技術の中から、最善の組み合わせを見つけ出し、それらを一つのデバイスで再現させる事も、今後のVRハードウェアの大きな課題になるでしょう。
フルダイブの現状①
運動情報の読み取り(Output)について
前回は、フルダイブVR実現に当たって必要となる３つの工程について簡単にまとめました。
あれだけでは、具体的な技術だとかその現状について分からないと思うので、今回からはそれぞれの工程について、より詳しく話していきます。
今回は一つ目、Outputについてです。
具体的に技術について見ていく前に、一つ前提知識をまとめておきます。
脳や神経などと機械をつないで、情報の読み書きをしようとする技術には、大きく分けて二つの種類があります。それが侵襲的方法と非侵襲的方法といわれるものです。
これは、肉体に物理的に影響を及ぼすか及ぼさないかの違い...傷をつけるかつけないか、みたいなものです。例えば、脳に電極を埋め込んだりする事で情報のやり取りをする手法は侵襲的で、頭皮につけた電極からやり取りをしようとするのは非侵襲的、という事です。
侵襲的方法は、主に医学(外科手術前提)の分野で行われているので、一般向けを目的とするフルダイブには向きませんね。よってここでは、侵襲的手法は無視して、非侵襲的手法に限って説明していきます。
さて、本題です。再びSAOを観てみましょうか。
以前にも使用した画像ですが、ここでキャラが頭に被っているヘルメットがVRデバイスです。ヘルメットになっている事からも分かるように、読み取りは全て脳から行なっているわけですね。
まず、ここに大きな壁があります。現代の技術では、脳から正確な情報を読み取る事ができないのです。
少し専門的な話をします。
まず、脳活動解析の精度について考える際によく使用される２つの指標を紹介します。
1.空間分解能
2.時間分解能
分解能とは、機械装置などで物理量を計測する時の最小の距離や時間を意味する言葉です。つまり空間分解能は計測する空間の最小単位、時間分解能は時間の最小単位になります。
今みなさんが見ている画面を例に説明します。空間分解能とは、ディスプレイの解像度と同じであり、時間分解能とは、フレーム数の事です。前者が低いと映像は荒くて綺麗に見えなくなりますし、後者が低いと、ラグが大きくなっていきます。
これでは、なんとなく女性の写真である事は分かっても、どんな顔か分かりませんよね。空間分解能が低いと、腕に関する情報だとわかっても、それが上腕なのか前腕なのか、親指なのか小指なのかが判断できなくなります。時間分解能が低いと、コマ送りになってしまうために、動作を滑らかに再現する事が出来なくなります。
脳の場合は、解析する最小の単位体積と情報の更新速度が、空間分解能・時間分解能です。
さて、それを踏まえた上で現代の脳活動解析における主要なアプローチ法を紹介します。
・EEG(脳活動によって発生した電位の計測)
一番メジャーな手法です。脳の活動は電気信号によるものなので、頭に装着した電極からその電気を読み取る技術。時間分解能は良いのですが、空間分解能が非常に悪いのが難点です。というのも、電極から距離が遠い事や、その間に頭皮や頭蓋骨が存在するために信号に歪みが存在してしまうからです。安いものなら10万円程度の機器でも測定可能です。
・MEG(電流が発生したことによる磁界を計測)
脳で電気信号が発生すると、その電流によって磁界が発生します。その磁界を計測する技術です。電流と磁界は同時に発生するので、時間分解能はEEGと同じです。さらに、磁気は頭蓋骨などに大して影響を受けないため、空間分解能は高いです。ただし、必要になる機器が大掛かりで、高価な物となります。
・fMRI(血液の動きから脳活動を逆算)
脳も細胞の集まりです。細胞が活動をするにはエネルギーが必要で、そのエネルギーを運ぶのは血液の仕事です。つまり、脳細胞が活動をした後、失ったエネルギーを補完するためにそこに血液が流れ込みます。その動きを計測する事で、脳の活動を感知する技術です。空間分解能は最高ですが、活動後に生じる反応を計測するので時間分解能は悪いです。ちなみに必要経費はMEGと同等です。
それぞれを比較してまとめると
となります。こう見ると技術的に最高なのはMEGですが、それでも読み取りの精度はまだまだです。運動を司る信号だとは分かっても、それが具体的にどこを動かす信号か正確に特定できていないのです。
このように、脳から直接情報を読み取る技術はまだまだで、ヘルメット型のハードになるのはまだ先の話のようですね。
しかし、私は近年成長が著しい筋電技術に未来を感じています。これは脳ではないですが、腕などの神経・筋肉を動かす電気信号を使って機械を動かそうとする技術です。
↓筋電技術を使った義手(メルティンMMI)
このように、体の末端部ではそれなりの精度で信号を抽出・解析する事は現在でも可能なようです。今後技術が進歩していくにつれ、末端部での計測はもちろん、将来的には脳でも高精度で読み取れるようになっていくかもしれません。
ちなみに、今回は非侵襲的手法の紹介しかしませんでしたが、外科手術前提の侵襲的手法を用いた場合、基本的には今日紹介した技術よりも空間・時間両分解能において優れていますが、それでもまだ、完璧な読み取りは実現できなさそうです。
以上、Outputに関する技術の説明でした。この工程に関しては、既にだいぶ昔から基礎理論も前提技術も揃っていますので、時間はかかれど、いずれは空間・時間両分解能において高精度な読み取り技術が確立する事が期待されます。自分そっくりのロボットを自在に遠隔操作する事も夢じゃないかもしれません。
今後の技術的ブレイクスルーに期待ですね。
次回はInputについて解説します。
フルダイブってそもそもどんな技術？
そもそも、フルダイブ技術とは具体的にどんな技術の事なのでしょうか。
SAOを例に見ていきましょう。
アニメ冒頭にて、主人公(キリト)は上図のようにヘルメットタイプのVRハードウェア(ナーヴギア)を装着し、ベッドに横たわり、音声コマンドで "ダイブ"を開始します。
「リンク・スタート！」
この瞬間、キリト君の意識は現実を離れ、何やらログイン画面のような物が一時的に表示され、それが済むと・・・
彼の視界には、自分の仮想体を含む別世界の光景が広がっています。視界だけではなく、彼は普段体を動かすように、仮想体を動かしていますし、その感覚も現実とは大差がないそうです。まさに、ゲームの世界に体ごと "ダイブ”した感覚ですね。
現在、世間一般で言うところのVRは、HMD(ヘッドマウントディスプレイ)による立体映像に、HMDの動きを感知するモーションセンサーを使って頭の動きと映像の動きを連動させる技術を組み合わせる事で、映像をまるで実際の視界であるかのように見せる技術の事ですが、これはそんな次元の話ではないですね。視界以外の五感ももちろん、体の運動情報や体性感覚なんてものまで再現しているのですから、難易度が格段に高い事が分かると思います。更に言うと、ナーヴギアはHMDではなく、脳内に視界そのものを作り出しているので、視界に限ってもまだまだ追いついていません。
VR(仮想現実)という言葉の元々の意味を考えると分かるように、あくまで立体的な映像を映しているだけの今のVRはまだまだ未完成で、長い道のりをやっと一歩進んだ程度の技術なのですね。
つまりフルダイブ技術とは、五感・運動感覚・体性感覚などといった、人の意識そのものを電子空間に「フル」で「ダイブ」させる技術なのです。
ここまでは誰でも分かっている話でしょう。あくまで確認事項です。
さて本題です。では、そのフルダイブ技術を実現させるにあたって、前提となる技術にはどんなものがあるでしょうか。
私は、大きく分けて次の３つの段階に分ける事が出来ると考えています。
- 脳から出力された運動情報を読み取る(Output)
- 五感などの情報(仮想)を脳に書き込む(Input)
- 読み取った運動情報や実体からの感覚情報を遮断する(Cut)
順を追って説明します。
Output
まず一つ目、読みとりについて。これについては言うまでもない事だと思いますが、仮想体を動かすために必要な工程ですね。普段私たちは、脳から発せられる電気信号によって体を動かしています。これは指先の細かな運動や、手首を１°だけ捻るといった動作においても変わることはなく、随意運動(意識した動き)は全て脳からの命令によって成り立っています。その電気信号を読み取って、どこの部位を動かす信号なのか解析し、仮想体におけるその部位を動かすことで、自分の体と同じように、仮想体を自由に操作する事が可能になります。現在、３つの工程の中で最も研究が進んでいる・実現化されているのはこの工程でしょう。わかりやすい例で言えば、近年目覚ましい進歩を遂げている義肢技術ですね。装着者の思い通りに、自在に動かせる義肢が開発されていますが、あれも脳(神経)を流れる電気信号(運動情報)を感知して、それに連動させた義肢を動かしています。
Input
次に、書き込みについてです。いわゆる、感覚を再現する工程ですね。
例えば、フルダイブした先で花を摘み取ったとしましょう。現実のあなたは花なんて持っていないし、近くにそんなものもありません。しかし仮想現実をより現実に近づけるのであれば、花の見た目はもちろん、感触や匂い、重さなんてものまで再現してあげる必要があります。そこまで再現できて、初めてあなたは "それ”をリアルな花だと認識できるのです。
実は、この３つの工程の中で、VR技術の発展という観点で最も重要なのはこの、感覚情報の再現・書き込みになります。他の２つの工程がなくても、Inputさえ完璧なら、この技術を使った映画鑑賞とか、凄い臨場感になりそうですよね。
ちなみにこれらの技術は、(脳や神経に)直接書き込む技術はまだあまり出来ていませんが、現在のVRなどはこのInputの工程を間接的に(それも視覚に限って)再現していると言えます。他の五感も同じように、直接書き込まなくても、対応する刺激を各感覚器官(目や鼻)に与える事でこの工程はクリアされるかもしれません。その場合問題となってくるのは、それぞれを刺激するためのデバイスが独立していて、それら全てを合わせると体積的にすごいことになりそうな事や、それらのデバイス間にラグが生じないように調整しなければならない事などでしょうか。
Cut
最後に、遮断です。これに関しては、研究も全く進んでいないため、おそらく現段階では一番厳しい工程ですが、フルダイブという技術の体系化にあたって、必要不可欠となります。少しわかりにくいかもしれないので、先ほどのキリト君を例に、Cutの工程がない場合起きうる問題について説明します。
キリト君は自室で「リンク・スタート」しました。この瞬間から、Inputによって、彼の視界には広大な広場が広がっています。そしてOutputによって、彼の仮想体は彼の思い通りに歩き始めます。ところが５歩程歩いたところで、彼はいきなり見えない壁にぶつかってしまい、それ以上進めなくなってしまいます。原因はわかりますね。仮想体は壁に衝突していないのに、彼が進む事が出来ないのは、彼の実体が壁に衝突してしまっているからです。この例では壁なので衝突ですみましたが、何かにつまづいたり、手を勢いよく動かしていたら何かにぶつけたり、非常に危険ですね。これが、Cutのうち運動情報を遮断する理由です。
次に感覚情報についてです。キリト君は作中、自室のベッドに横たわってダイブを開始しました。感覚情報を遮断していない場合、彼はプレイ中ずっと、背中にベッドの感触や、家の環境音、自分の部屋の匂いを感じたままになってしまいます。それにInputによって新しく入力された情報が混ざってしまったら...かなり気持ち悪そうですよね。
五感については気持ち悪いで済むかもしれませんが、それだけでは済まない感覚もあります。例えば、重力。私達は普段、目を瞑っていても地面がどちらの方向にあるかわかりますよね。これは私達の体に、重力を感知する器官があるからです。もし、この重力情報を遮断できなければ、キリト君は常に壁を歩いているような感覚になってしまうでしょう。感覚情報の遮断も不可欠な事がわかりますね。
このように、大まかな流れで見るとフルダイブの前提技術は３つとなりますが、いずれもまだ完璧とは言い難く、要研究といったところですね。
次回からは、それぞれの工程についてもっと細かい説明を加えていきます。
初投稿！ 〜自己紹介〜
初投稿です！
2016年、世間ではVR元年として凄い話題になってますよね。
私にとってのVR元年は2012年、アニメ<ソードアート・オンライン>が放映された年でした。初めてフルダイブVRという技術を知った時の衝撃は今でも忘れられません。あれ以来、私の夢はいつかフルダイブ技術を実現させる事でした（きっと多くの人が私と同じ事を考えたと思いますｗ）
ちなみに当時、私は中学生。現在では高校３年生になっています。今でも、あの時抱いた夢は変わらず、大学はそういった研究ができる学部に進学するつもりです。
とは言っても、研究は大学に入ってから。
そう思い、高校の間は生物の勉強に力を入れるくらいで特別な活動はしていませんでした。研究をするにも一人だし、何をすればいいかも分からないし機材もない。今の自分には到底無理な事なのだと思っていました。
しかし最近、とある人達との出会いがあり、自分の考えを大きく変える事になりました。
誰でも、最初は無知だし何も持っていない。大学に入ったからと言って、それは変わらない。何かを始めるなら、いつ初めてもその条件は変わらないのだと。
大学で始めるのと自分で始めることの違いは、能動的に動くか受動的に動かされるか、それだけなんだと。
だったら、今からやればいいじゃないかと！
そう決心してから１ヶ月、山積みだった勉強にも区切りがつき、自分の考えも色々とまとまってきて、記録しておきたい出来事も増えてきたので、これからはブログという形で、私の研究記録を残していく事にしました。
「フルダイブVRを実現させたい！でも何を勉強すれば良いの...」なんて悩んでいる学生に、少しでも道を示せたら幸いです。
もしも私の記事を気に入っていただけたなら、気軽にお声がけください！私もまだ勉強始めたばかりなので、そういった仲間と一緒に勉強していけたらモチベーションにもつながると思いますので！
よろしくお願いします。
