単眼カメラによる1回の撮影でカラー画像と距離画像を同時に得られる技術を東芝が開発した(図1)。独自のカラーフィルターと画像処理を汎用的なイメージセンサーと組み合わせることで、ステレオカメラ並みの精度の距離画像を低コストに得られる。同社は、自動運転車やドローン、ロボットなどへの搭載を狙う(図2)。例えばフィルターと画像処理ICをパッケージ化して提供することを想定、早期の実用化を目指す。

図1 単眼1フレーム画像から距離情報も
図1 単眼1フレーム画像から距離情報も
東芝は今回の技術を「第22回画像センシングシンポジウム(SSII2016)」(2016年6月8~10日、パシフィコ横浜)で初めて発表した。(図:東芝)
[画像のクリックで拡大表示]
図2 試作機で撮影したカラー画像と距離画像
[画像のクリックで拡大表示]
図2 試作機で撮影したカラー画像と距離画像
[画像のクリックで拡大表示]
図2 試作機で撮影したカラー画像と距離画像
(写真:東芝)

 開発した技術は、距離画像を得るために視差を利用する点では、既存のステレオカメラと同じである。単眼で視差を得るために、イメージセンサーの前に独自パターンのフィルターを新たに取り付けた。試作機では、絞りにフィルターを取り付けて絞りの直径相当の視差を確保できるようにした。

 フィルターは、左右に2分割し、それぞれに異なる色(透過特性)を割り当てたパターンとすることによって、撮像センサーが得る像のピントぼけが、色の変化としても表れるようにした(図3)。距離は、この色ずれを伴うピントぼけから推定する。同社は、フィルターのパターンを工夫することで、カラー画像を同時に得つつ、距離画像を高精度に推定できるようにしている。

図3 色ずれとピントぼけが距離で変わる
図3 色ずれとピントぼけが距離で変わる
(図:東芝)
[画像のクリックで拡大表示]

 具体的には、左右に2分割したフィルターの一方を赤と緑のみ透過させる黄色、もう一方を青と緑のみを透過させる水色とした(図4)。3原色のうち緑は全面を透過し、赤と緑は左右の一方を透過することになる。ピントが合っていない場合、レンズの左側から透過して撮像面に届く光と右側から届く光の位置は一致しない。その結果、赤光または青光が透過しなかった光によるピントぼけ像が、被写体像に対して左右非対称に現れる。一方、フィルター全面を透過した緑光によるピントぼけ像は被写体像に対して対称に生じる。

図4 採用したカラーフィルターの色配置
図4 採用したカラーフィルターの色配置
(図:東芝)
[画像のクリックで拡大表示]