理化学研究所 脳科学総合研究センター 適応知性研究チーム チームリーダーの藤井直敬氏は2014年6月18日、FPD International 2014「どこでもディスプレー」（主催：日経テクノロジーオンライン）で講演した。「現実と仮想」と題し、同氏らが開発した「SR（substitutional reality：代替現実感）システム」を紹介した。
SRシステムは、ヘッドマウント・ディスプレイ（HMD）とヘッドホン、方位センサー、ライブカメラから成り、利用者の目と耳を覆う。最初はライブカメラでリアルタイムに撮影した映像をHMDに表示するが、あるタイミングで過去に撮影したパノラマ映像や録音した音声へとそっと切り替える。これにより、システム利用者はどれが目の前の現実で、どれが過去の映像なのか、見さかいが付かなくなっていく。いわば「現実と仮想の間を地続きに行ったりきたりできる」（藤井氏）プラットフォームだ。
サルが我が手をじっと見る
VR（virtual reality：仮想現実感）やAR（augmented reality：拡張現実感）などの従来手法では、与える映像の解像度やフレームレートといった「スペック」の向上に力を注いできた。この手法では、現実と映像の品質の差が縮まるほど、そのわずかな差が目立って没入感を阻害してきたという。これに対しSRシステムは、現実をライブカメラの映像で与えることによって、「現実の（映像としての）クオリティを下げ、仮想（過去の映像）との品質の差をなくした」。
さらに、周囲360度のパノラマ映像を与えることもポイントという。自分の視覚とSRシステムを装着している頭の動きが連動するため、ある出来事とそれが起きた場所を関連付ける「空間マップ」が脳内に形成されるとみられるという。この空間マップの形成が現実感を与える上では重要であり、そのためには「visuomotor coupling（視覚と運動の連動）」を担保するようにシステムを組むことが大切だとした。
講演では、理化学研究所で1000人以上を対象に行った実証実験の様子を紹介。現実と仮想（過去の映像）を区別することができた人はほとんどいなかったという。少数の例外は、音響エンジニアやアニメーターなど、音や映像を職業とする専門家だった。この実証実験では、現実と仮想の見さかいがつかなくなった被験者が、一様に自分の手を見ようとしたという。現実であると確実に保証してくれるものは、自分の意思だけが動かすことのできる自分の身体だからだ。この現象は、サルを対象に行った実証実験でも観察されたという。
実証実験を通じて明らかになったのは、「現実とは絶対的なものではなく、相対的で主観的なものであるということ」（藤井氏）。そして主観的な現実を作り出すためには、仮想を現実と信じ込ませる工夫こそが重要であり、「映像のスペックはどうでもよい」（同氏）。実際、映像を極限まで圧縮し、少数の線で構成しても、視覚と運動の連動などを担保すればそれを現実だと感じるという。
幻聴・幻視を追体験、医療分野への応用も
この他、SRシステムの応用分野の一つとして、医療分野を紹介した。具体的には精神疾患の治療に応用できる可能性があるという。PTSDの治療や、幻聴・幻視に苦しむ患者の感覚を医師がSRシステムで追体験するといった使い方を想定している。
藤井氏らは、SRシステムの普及に向けて、iPhoneと小型ボックスから成る簡易SRシステム「ハコスコ」を開発。その事業化に向けた会社を2014年4月に立ち上げた（関連サイト）。最近相次いで登場している360度のパノラマ映像を取得できるデバイスで実装する場合に比べて、「150円ほどで実装でき、はるかに安い」（同氏）とした。
