《日経Robo》キヤノンが取り組んだディープラーニング技術とは

60層近いDNNで構成

　以降ではTUMとキヤノンが開発したCNN-SLAMの構成の詳細を見ていこう。図3が全体の構成である。前述したように、前段でCNNを用いて距離画像を推定し、後段でRGB-D向けSLAMの処理を行っている。CNNによる距離画像の推定は毎フレームではなく、特定のフレーム（キーフレーム）に対してのみ行う。一方、カメラ姿勢推定や最適化は毎フレーム行う。

図3 CNN-SLAMの処理の流れ

入力のRGB映像からキーフレームのみを抽出し、学習済みのCNNで距離画像を推定。その後、その距離画像をRGB-D向けvisual SLAMに掛け、複数フレームの運動視差などを基にしたグローバルな3次元復元を行う。CNNの学習時には、RGB画像を入力、距離画像を教師データとして使う。CNNはGPU、vSLAMはCPU上に実装した。（写真：TUM）

[画像のクリックで拡大表示]

　距離を推定するDNNは、約60層近くから成る（図4）。TUMなどが2016年10月に発表済みの構成を今回のCNN-SLAMでもほぼそのまま用いた。入力のRGB画像は304×228画素で、RGBの3チャネル。出力は同じ解像度の距離画像（1チャネル）である。前半部分では、Microsoft Researchが提唱したCNNの一種である「Residual Network（ResNet）」を基にしている。通常のCNNは、層間で局所的なフィルタ演算を行う「畳み込み層」と間引きを行う「プーリング層」が交互に一直線に並ぶことが多いが、ResNetでは途中で枝分かれ経路を設ける。3層ほどスキップして後方の層に直接情報を送るバイパス経路を設けてある。

図4 距離画像推定を行うCNNの構造

前段では、Microsoft Researchが考案した「ResNet-50」を改変して用いた。ResNet-50の後段の全結合層を削除し、代わりに画素数を増やすアップコンバート層を設けた。入力画像と同じ画素数の距離画像を出力する。（写真：TUM）

[画像のクリックで拡大表示]

　もともとのResNetは一般物体認識用に考案されたネットワークのため、後段には識別のための全結合層がある。CNN-SLAMではこれは取り除き、代わりにFCNとして画像を出力できるよう、解像度を高めるアップコンバート層を6層ほど設けた。アップコンバート層の前段では解像度が10×8で、チャネルが2048となっている。画像中のどこにどのような物体があるかという情報が前半部分で一度凝縮され、それを再び距離画像に変換しているとみられる。

　CNNの訓練データとしては、RGB-D画像のデータセット「NYU Depth v2」を用いた。汎化性を見るため、CNNの実行時は「TUM RGB-D SLAM」など別のデータセットを用いた。訓練データの撮影に用いたカメラの焦点距離と、実行時に用いるカメラの焦点距離は異なる。そのままでは絶対距離の推定に誤差が発生するため、両者の焦点距離の比を用いてCNNが推定した距離画像の値を調整するようにした。

　CNN-SLAMで得られた3次元復元結果の精度は、CNNのみで距離推定した場合よりも4％ほど向上した。正解データとの誤差が10％以内に収まる画素の割合が、CNNのみの場合は18.45％であったが、CNN-SLAMでは複数フレームを勘案することにより22.46％にまで高まった。TUMが開発した単眼visual SLAMであるLSD-SLAMでは距離画像の抜けが多く疎であるため、この値はわずか3.03％だ。

　単眼visual SLAMは運動視差を基に3次元復元をするため、カメラの位置の変化がなく、回転動作のみの映像に対しては非常に脆弱である。図5右に示したように、回転運動に対してはLSD-SLAMでは3次元復元自体が破綻してしまう。これに対し、CNNでフレームごとに絶対距離を得るCNN-SLAMでは回転運動に耐性がある。

図5 カメラの回転運動にも高い耐性

通常の単眼visual SLAMでは運動視差を基にしているため、視差が生まれないカメラの回転運動が起きると、3次元復元が破綻してしまう（写真右）。これに対しCNN-SLAMは、距離画像センサを使うRGB-D向けSLAMと同様に、各フレームごとに距離画像を得られるため、回転運動に対して耐性がある（写真右）。さらに距離画像センサとは異なり、屋外の太陽光への耐性もある。（写真：TUM）

[画像のクリックで拡大表示]

セグメンテーションとも統合

　CNN-SLAMでは、画像を出力できるFCNを用いているため、画素ごとの「semanticセグメンテーション」も同時に実施しやすい。semanticセグメンテーションとは、画像中にどのような種類の物体が写っているかを、画素ごとにラベリングするものだ。自動運転車向けのディープラーニングなどでよく使われる手法で、先行車や道路面、歩行者、空、交差点といったラベルをCNN（FCN）で画素レベルで振っていく。

　今回、TUMとキヤノンはこのsemanticセグメンテーションも実施した。3次元復元したすべての点群に対し、どのような種類の物体かをラベリングした（図6）。距離推定用のCNNとは別にほぼ同じ構成のネットワークを並列に設け、そこで「床」、「壁（垂直の面）」、「家具」、「小さな物体」といったラベルを推定した。前述したように、将来、ロボットに対し「本棚にある本を取ってきて」といった指示を自然言語で与えようとする際、こうしたsemanticセグメンテーションは必須の技術である。LIDARベースのSLAMと異なり、CNN-SLAMであれば、そうした用途にも使いやすい。

図6 semanticセグメンテーションの結果と重畳した様子

距離推定に用いたのとほぼ同様の構成のCNNを並列に用いれば、画素や点群ごとのsemanticセグメンテーションも可能となる。各画素ごとに、それが「床」や「壁」、「家具」などどのような種類の物体なのかラベルを推定できる。（写真：TUM）

[画像のクリックで拡大表示]

本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

［画像のクリックで別ページへ］