図1 グローブ型端末
図1 グローブ型端末
[画像のクリックで拡大表示]
図2 グローブ型端末の概要
図2 グローブ型端末の概要
[画像のクリックで拡大表示]
図3 グローブ型端末の構成
図3 グローブ型端末の構成
[画像のクリックで拡大表示]
図4 NFCタグ読み取りに関する一連の動作
図4 NFCタグ読み取りに関する一連の動作
[画像のクリックで拡大表示]
図5 動作時間を約9時間に
図5 動作時間を約9時間に
[画像のクリックで拡大表示]
図6 背屈動作を利用
図6 背屈動作を利用
[画像のクリックで拡大表示]
図7 6パターンの動きを検知
図7 6パターンの動きを検知
[画像のクリックで拡大表示]
図8 点検業務支援の実演
図8 点検業務支援の実演
[画像のクリックで拡大表示]
図9 配線接続作業の支援の実演
図9 配線接続作業の支援の実演
[画像のクリックで拡大表示]
図10 HMDに表示される画面をデモ用にディスプレーに表示
図10 HMDに表示される画面をデモ用にディスプレーに表示
[画像のクリックで拡大表示]

 富士通研究所は、スマートフォンやタブレット端末、ヘッドマウントディスプレー(HMD)などと連携して利用するグローブ型端末を開発した(図1、2)。装置の点検やケーブルの抜き差しといった業務作業を支援する用途に向ける。特徴は、効率的に作業を進められるようになること。富士通研究所によれば、タブレット端末を利用した作業支援ツールが存在するものの、指示書を見たり、記録したりする際に同端末の操作で作業が中断する、手袋でタッチパネルの操作が難しく作業効率が上がりにくいといった課題があるという。グローブ型端末とHMDと連携させ、直接触れることなくタブレット端末やHMDなどを操作しながら、作業を進められる。グローブ型端末を利用した作業支援システムとして、2015年度の実用化を目指す。

NFCを利用しながら、9時間動作を実現


 グローブ型端末を開発する上で重視した点が二つある。一つは、情報選択の誤りや手間を削減すること。そこで、グローブ型端末を着けて作業対象物に触れるだけで、関連する情報だけをHMDの画面に表示したり、イヤホンの音声に載せたりして、装着者に提示できる仕組みにした。

 グローブ型端末は主に、三つの部材で構成する(図3)。指にはめる指輪型装置と、手首に装着するセンサー装置、そして両装置にまたがって取り付けられたカバーである。指輪型装置には、接触センサーとNFCタグの読み取り部(NFCアンテナ)が搭載されている。センサー装置は、ジャイロセンサーと加速度センサー、NFCリーダーなどを備える。

 指輪型装置とセンサー装置を利用して、以下の手順を経て情報を提示する(図4)。まず、指輪型装置を身に着けた指でNFCタグが貼られた物体に触れる。すると接触センサーによって、接触が検知される。次に手首のセンサー装置内のNFCリーダーが起動し、NFCタグ内の情報を読み取る。続いて、読み取ったタグ情報をBluetoothでスマートフォンやタブレット端末に送信する。送信後、NFCリーダーを休止する。スマートフォンやタブレット端末に送られたタグ情報は、クラウド側にあるサーバーに送信される。このとき、作業者の名前や作業時間、点検結果などもサーバーに送られる。サーバーにデータを送信後、作業の種類や場面に応じて適切な支援情報をサーバーからスマートフォンやタブレット端末に送る。そして、スマートフォンやタブレット端末に接続されたHMDやイヤホンのスピーカーを通じてユーザーに支援情報が提示される仕組みだ。

 NFCを利用する上で課題となったのが、消費電力である。ウエアラブル機器では、小型化や軽量化のために大きな電池を搭載しにくく、低消費電力動作が強く望まれる。そこで、前述のように、タッチした瞬間だけ、NFCリーダーを起動するようにした(図5)。加えて、NFCタグの反射電波強度と時間を基にしてNFCリーダーを制御して、消費電力の削減を図った。こうした工夫を導入した結果、タグ検知の応答時間を0.05秒に維持したまま、グローブ端末の動作時間を、導入前の約3時間から約9時間にまで延ばした。時間動けば、1日の業務時間をほぼ全体をカバーできる」(富士通研究所)という。

背屈動作を活用


 グローブ型端末を開発する上で重視したもう一つの点は、記録や工具持ち替えなどの手間を削減することである。そこで、新しいジェスチャー入力技術を開発し、導入した。手首を手の甲側に曲げる「背屈動作」を用いる(図6)。同動作をトリガーにして、手の動きの検知を始める。手の動き検知には、手首のセンサー端末に搭載したジャイロセンサーや加速度センサーを利用する。

 背屈動作に関しては、作業中に動かす角度範囲と意識的に動かす角度範囲に15度以上の差があるという。「ウエアラブル端末に適したUIをいろいろと検討するうち、背屈動作の角度範囲の違いを発見し、利用してみようということになった」(富士通研究所)。

 装着者が意識的に背屈動作をしたかどうかは、手首側に装着したセンサー端末内の機械式スイッチで検知する。背屈動作をすると同スイッチがオンになり、ジェスチャー入力モードに切り替わる。背屈を止めるとスイッチがオフになるため、ジェスチャー入力中は背屈状態を維持しなくてはならない。個人差が少ないとされる、上下左右、左旋回、右旋回の6パターンの動きを検出できるという(図7)。例えば、左右に動かしてHMDの画面に表示された指示書をめくったり、上下に動かして表示をスクロールさせたりできる。点検結果を送信する場面では、右旋回で「異常なし」、左旋回で「異常あり」といった情報をサーバー側に送信できる。ジェスチャーの認識率は現在98%ほどだという。

 富士通研究所が開催した発表会では、グローブ型端末を利用した二つの動作実演を披露した。一つは、点検業務支援である。作業パネル上のNFCタグをタッチし、点検箇所に応じた支援情報を音声で受け取りながら、点検を進めるというものである(図8)。判定結果は、ジェスチャーで入力する。

 もう一つの実演は、配線接続作業の支援である。ケーブルに付けられたNFCタグをタッチしつつ、ケーブルの接続箇所をHMDに表示して作業者を支援する(図9、10)。

 なお、今回のグローブ型端末は、2014年2月24~27日までスペイン・バルセロナで開催される「MWC 2014」に出展される予定である。