今回はKinectの機能を説明する。以下の機能を組み合わせることで、従来のデバイスでは不可能だったり困難だったりする機能を実現できる。

・カメラ画像の利用

　Kinectのカメラ・ドライバは今のところ一般のWebカメラとは互換性がないため、全く同じように扱うことはできない。ただ、画像処理という点ではそれほど大きな違いはない。

・距離画像の利用

　Kinectから対象までの距離をピクセルごとに取得できる。Z軸を利用して単純に物体までの距離を測ったり、距離に応じて画像に処理を加えたりすることが可能だ。また、X/Y軸を利用することで、物体の幅や高さを測ることもできる。

・ユーザー・トラッキング

　人を認識して追従できる。人の輪郭を取得できるため、輪郭を使った「当たり判定」を行ったり、人の形にくり抜くことで光学迷彩や背景のマスクといった処理を加えたりできる。

・スケルトン・トラッキング

　人の骨格の認識と追従を行える。顔や肩、肘、手、足など、人体のパーツの座標を3次元で取得できるため、各パーツに対する画像処理やポーズの検出、ジェスチャーの認識などに利用できる。

・マイクからの音声の取得

　音声をWAVE形式で取得できる。カメラと組み合わせた動画の作成などが可能だ。また、Microsoft社の「Speech SDK」を組み合わせることで、入力した音声の内容を認識できる。英語に加え、現在は日本語にも対応している。字幕や翻訳などに利用できる。

・音声の方向の認識

　ビーム・フォーミング機能を利用して音声の方向を検出できる。ユーザー・トラッキングと協調して、話者の特定などに利用できる。

さまざまな応用事例

　実際にKinectを利用した事例も出始めている。まずは、従来の入力デバイスの置き換えだ。カーソルの移動やクリックといったマウス操作をKinectに置き換えた例がある。仏Microsoft社のMS SDKサイトでは、Kinectで手の動きを認識してキーボードとして利用するためのサンプル・プログラムも公開されている。もっとも、現状ではKinectでは指先までを認識できないため、完全なキーボードの代用は難しい。将来的にKinectで指先を認識できるようになれば、実用的な仮想キーボードを実現できるだろう。

バーチャル試着室を実現

図1　ジェスチャーで服を変えるバーチャル試着室
チームラボが開発した「チームラボ・ミラー」というKinectを利用したアプリケーション（写真はチームラボ提供）。
[画像のクリックで拡大表示]

　Kinectを使えば、画面上に服を表示させて、ジェスチャーで服を変えていく「バーチャル試着室」も実現できる。チームラボは、それをいち早く実装したアプリケーション・ソフトウエア（以下、アプリ）「チームラボミラー」を開発した（図1）。iPhone向けのバーチャル試着室アプリを基に、Kinectから操作できるようにしたものだ。