デモンストレーションを実施した試作品
デモンストレーションを実施した試作品
[画像のクリックで拡大表示]

 富士通研究所は、指で直観的に操作が可能なユーザー・インターフェース(UI)技術を開発したと、2013年4月3日に発表した。市販カメラとプロジェクターを用いる。カメラで指を検知し、書類などの好きな部分を指でなぞると、その部分を電子データとして取り込んだり、触れた部分の情報をプロジェクターで表示したりすることができる。

 現在、実用化されているジェスチャー入力は空間での操作が前提となっているが、背景となる物体と手が近づいた状態では、手と背景を混在して検出してしまう問題があり、指のタッチ操作を検出するのが難しかった。最近では、赤外線などを用いて距離を計測する装置を活用する事例が出てきたが、こうした装置でも指の操作を細かく検出できるほどの分解能はなく、装置も大型で高コストになるという課題があった。

 富士通研究所ではこうした問題に対して、汎用のカメラとプロジェクターを用いて指の位置やタッチ動作などを高精度・高速に検出する技術を開発した。開発した技術は、(1)座標認識・変換技術、(2)手指認識の安定化技術、(3)指先の高精度・高速な認識技術、の三つに特徴があるという。

 (1)については、まずカメラを2個用いることで、ステレオ・カメラとし、机上の凹凸形状を自動計測して、カメラ座標系やプロジェクター座標系、実世界の座標系を自動調整する技術を開発した。これによって、指の動きや物へのタッチ、プロジェクターの投影画像を正確に合わせることが可能になったとしている。

 (2)については、手指の色と輪郭の特徴を抽出し、手指の形状を認識する技術を開発した。さらに、周囲の環境光に応じてカメラ画像の色や明るさを制御する他、手指の色の個人差を補正する技術によって、設置環境や個人差の影響が少ない安定した手指の抽出を実現したとする。

 (3)については、市販品のWebカメラなどで得られる低解像度の画像でも、指先の画像を補間することで、指先でのタッチ検出に必要な精度を確保した。「指先の解像度は320×180画素程度しかないが、十分検出できる」(富士通研究所の説明員)とする。さらに、指の動きにも追従できるようにフィルタ処理を施すことで、毎秒300mmの指先追跡速度を実現した。

 同社は卓上型の試作品を作製し、デモンストレーションを披露した。試作品には、2個の市販カメラとプロジェクターに加えて、撮影用のカメラ・モジュールを搭載している。デモでは、書類から好きな部分を指でなぞって取り込んだり、旅行パンフレットの文字を認識して、その場所の画像や動画を表示したり、その場所を地図上に表示したりしていた。

 この他、手書きの付箋紙を机に貼り付けると、その付箋紙を撮影用カメラで画像データとして読み取り、付箋紙を取り除いても画像データの電子付箋として表示できる。この電子付箋を指で移動させたり、グルーピングさせたりすることが可能で、会議などでの利用を想定していた。

開発したUIの概要
開発したUIの概要
[画像のクリックで拡大表示]
試作品の詳細
試作品の詳細
[画像のクリックで拡大表示]
指でなぞった範囲を取り込める
指でなぞった範囲を取り込める
[画像のクリックで拡大表示]
旅行パンフレットに関連した情報を表示
旅行パンフレットに関連した情報を表示
[画像のクリックで拡大表示]
旅行パンフレットで調べた情報を別の紙地図で表示
旅行パンフレットで調べた情報を別の紙地図で表示
[画像のクリックで拡大表示]
付箋紙を画像データに
付箋紙を画像データに
[画像のクリックで拡大表示]
電子付箋として利用が可能に
電子付箋として利用が可能に
[画像のクリックで拡大表示]