東京大学大学院と慶應義塾大学大学院の研究グループは，ピコ・プロジェクターと画像認識技術を組み合わせたゲーム・システムを試作し，「CEDEC 2010」（会期は2010年8月31日～9月2日）に出展した。同システムでは，プロジェクターとカメラを一体化した小型端末を，片手で持ってゲームを操作する。プロジェクターからキャラクターの映像を投影し，端末を動かすことでキャラクターが移動する（図1）。例えば左右に端末を動かせば，キャラクターもその動きに合わせて左右に動く。このほか，端末を上方向に素早く動かすと，キャラクターがジャンプし，ゆっくり動かすと上側に飛ぶように移動する。
そして，キャラクターが動く際，映像を投影した先にある実際の絵や物体などによって，キャラクターが異なる振る舞いをする。例えば，横線の上にキャラクターの映像が投影された状態で端末を左右に振れば，キャラクターが歩く（図2）。また，キャラクターをジャンプさせ，その上方に何らかの絵や物体があると，キャラクターは頭をぶつける。
こうした操作は，カメラで撮影した画像をリアルタイムに解析し，ユーザーの動きや投影面と端末の距離，投影したキャラクターと実物体との衝突，物体の色や形などを認識して実現している。カメラで検知できない急速な動きや，重力方向を加速度センサで検知している。
赤色や青色といった色の識別も可能で，例えば赤い火の形状をしていた個所にキャラクターを移動させると，キャラクターに火が付く。逆に青い水滴の形状をした個所にキャラクターを移動させると，その火を消すことができる。
携帯電話機の搭載も視野に
今回のシステムは，一般に購入できるピコ・プロジェクターやカメラ，加速度センサを利用している。画像認識に必要な演算処理も，携帯電話機に搭載したアプリケーション・プロセサなどでも十分可能なため，「ハードウエア的には，プロジェクターと加速度センサ，カメラを搭載した携帯電話機であれば，適用できそう」（説明者）だという。
ただし，実際の機器に搭載するには，映像の投射方向と，カメラの撮影方向を一致させなくてはならない。つまり，プロジェクターの投射レンズと，カメラの撮影レンズを同じ向き（平行）にする必要がある（図3）。
プロジェクターを搭載した携帯電話機は既に実用化されている。こうした機種では，投射レンズと撮影レンズは直交して配置されているため，そのままで今回のシステムを適用できない。そこで，カメラのレンズか，あるいはプロジェクターの投射レンズの付近にミラーなどを付け，光路を変更させれば，今回のシステムを適用できる可能性がありそうだ。
