Computer Graphics技術の国際学会および展示会「SIGGRAPH Asia 2009」(2009年12月16~19日,パシフィコ横浜)では,さまざまなタイプのAR(拡張現実感)の応用例が出展され,同技術の今後の発展の方向性を垣間見せている。
今後はマーカーレスが主流に
視覚向けのARでは,ディスプレイの中にリアルタイムにCG映像などを重畳するのが一般的だが,これまでは映像の識別や位置合わせをするために,「マーカー」と呼ぶ2次元バーコードの一種を用いていた。最近は,そのマーカーを使わないARの実装例が増えつつある。
マーカーレスのARの例をデモしていた中の1社が,スリーディーだ。同社は,青くて平らなシートをカメラで撮影し,ディスプレイ中のシートの映像上で魚が泳ぐ映像を重畳する展示を披露した(図1,図2)。「マーカーを使うことが前提のARToolkitは使っておらず,ソフトウエアを独自に開発した」(スリーディー)。今回は青いシートを用いたが,シートの色は黄色や赤色などにも変更できるという。
ARでPicture-in Picture
もう一つのマーカーレスARの例が,テレビ画面の中に,さらに映像モニターを表示するシステム「DRAGON」だ。テレビ朝日が気象情報などのテレビ番組中で日々利用しているという。テレビ朝日自身が基本概念を設計し,仏Total Immersion社とNTIが開発した。
ここでも2次元バーコードのようなマーカーは用いず,手に持ったボードの形状を認識してそこに,CG映像や実写の動画などを合成する(図3,図4,図5)。ボードが傾いたり,動いたりしてもそれを追跡して,その座標情報を検出できるという。
DRAGONに利用しているシステムの中で,パソコンには米Intel Corp.のサーバー機向けデュアルコア型マイクロプロセサ「Xeon 5160」(3GHz動作)と,米NVIDIA Corp.のグラフィックス処理LSI「NVIDIA QuadroFX1500」を用いている。
自転車にもAR
自転車向けナビゲーションのシステム「ARider」を出展したメーカーもあった。ユビキタスエンターテインメントだ。同システムは,自転車用ヘルメットに,スカラ製のヘッド・マウント・ディスプレイ(HMD)とiPhoneを装着し,自転車に乗りながら走行方向の地図を見ることができるようにした(図6,図7)。
iPhoneはヘルメットの後方に張り付けてあり,GPSおよび方位センサ機能,そして地図の表示機能を利用する。HMDは,ディスプレイ部分を伸縮できるようになっており,利用しない時は邪魔にならないという。
具体的な製品化予定はなく,「試しに作製してYouTubeに載せたら好評だった」(ユビキタスエンターテインメント)ため,今回の出展を決めたという。ただし,「2~3カ月以内に経済産業省と渋谷周辺で実施する予定の,自転車ナビゲーションの実証実験にも用いる予定」(同社)。
重畳した映像をリアルタイムに加工
視覚向けのAR(またはMR:mixed reality)では,ディスプレイの中にリアルタイムにあらかじめ作製したCG映像などを重畳するのが一般的だが,その重畳映像を加工できる実装例はまだ少ない。MRの研究で知られる立命館大学 情報理工学部メディア情報学科 教授 田村秀行氏の研究室は,重畳映像を「ハンマー」で叩いたり,「ピンセット」でつまむ,「ナイフ」で切る,あるいは「絵筆」を使って絵を描くなどして,映像空間中で新しい重畳映像を作り出すことができるシステムを開発した(図8,図9)。
加工用のツールも,実際の道具に似せて作製した。ただし,単に形を似せた棒切れではなく,例えば「ハンマー」には,加速度センサを実装して重畳映像を叩く勢いを実測できるようになっている。「ナイフ」には触覚センサ,切っていることを示すLED,切り終わったことを知らせるスピーカーなど,「絵筆」には筆圧や力の方向を検知する圧力センサを実装したという。絵を書く際は,重畳映像で作成した「パレット」で,「絵の具」の色を変更できる。
ARで幽霊と闘う
田村研究室のもう一つの出展は,「幽霊」の重畳映像を,重畳映像の「刀」で切るお化け屋敷「KAIDAN」である。体験者にHMDと柄だけの刃のない刀を持たせ,磁気センサで柄の位置を検知することで,映像空間内では刃付きの刀で幽霊を切るような体験を可能にした(図10,図11)。
幽霊の映像は,部屋のあちこちに出没するようになっている。その際,部屋の照明データに基づき,光の当たり方や影のつき方を変えることで,あたかも実体がそこにあるかのような効果を再現した。加えて今回は,視覚だけでなく聴覚についてもデータを重畳する「聴覚的MR」も実現している。体験者だけが,HMDを通してあたかも幽霊などの重畳映像が音を出しているように聞こえるという。
映像空間中で対戦ゲーム
ARは非常にゲームとの親和性が高い。例えば,ソニー・コンピュータエンタテインメント(SCE)は2003年ごろからARの考え方に基づいたゲームを開発,発売している。フランスから今回の展示会に参加したデザイナーのFrantz Lasorne氏も,HMDを利用したAR型の対戦ゲームを出展した。
遊び方はこうだ。まず,対戦相手と自分でマーカーがいくつか付いた小さな人形をそれぞれ用意する(図12)。HMDでその人形を見ると,マーカーごとに攻撃のオプションを選べるようになっている(図13)。HMDの映像中にある一種のカーソルを特定のマーカーにあわせると,「充電中」のような表示が出た後に攻撃可能になる(図14)。ここで,人形を手で持って相手の人形に近づけてから,HMDの映像中のカーソルを相手の人形に合わせると,HMDの映像の中で攻撃が始まる。HMD以外にゲーム・コンソールなどを必要としないのが,特徴といえば特徴である。Lasorne氏は「これからゲーム会社などに売り込もうとしているところ」と説明する。
映像に触れるAR
やはりフランスから参加した仏Immersion社は,「世界初のマルチタッチ&3Dインタラクティブ・インタフェース」とうたったシステム「Cubtile」を出展した。これは,サイコロ型の半透明の箱にカメラを5~6台組み込み,箱の周辺の手の動きを検知できるようにした「3Dマルチタッチ・センサ」と,鏡のように見せた大型ディスプレイを組み合わせたもの(図15)。3Dマルチタッチ・センサの周囲で手を動かすと,手の動きに応じて,重畳映像が大型ディスプレイの映像中を回転したり,大きさを変えたり,あるいは移動するという仕組みになっている(図16)。
デモでは特別意味のない形状の重畳映像を出していたが,例えば自動車の映像を重畳して,それをあたかも手で触って回転させるかのようなことも可能だという。
【お知らせ】セミナー「AR技術を活用した製品開発技術とその応用」
慶應義塾大学大学院教授 稲見昌彦氏,奈良先端科学技術大学院大学教授 加藤 博一氏の講演のほか,キヤノン,NTTドコモが事例を解説。2010年2月24日(水)開催。