前回の記事へ
ZRRでの廃棄物認識と選別のシステム構成は図7のようになっている。前述したように1台のロボットは、廃棄物の材質やベルコンベア上での場所を認識するためのセンサユニットと、実際に廃棄物を把持(ピッキング)して廃棄口に投げ入れて選別するロボットハンド2個、から成る。
認識の流れは次のようなものである2)。まず、センサユニット内に設置したカメラで、ベルトコンベア上を高速に流れる廃棄物を撮影する。次に、このRGB画像と距離画像を基に、各廃棄物を背景領域から切り出す「セグメンテーション」処理を行う。
セグメンテーション後は、各廃棄物に対しDNNで材質の識別(分類)を行う(図8)。DNNには、RGB画像や距離画像だけでなく、近赤外光ハイパースペクトルカメラや金属探知機のデータも入力する。合計4種類のセンサの情報を基にDNNが材質を推定する。
ZRRが識別する材質の種類は、木材や金属、プラスチック、がれきなど実行時にクラス数(種類)が決まっている。DNNが得意とする典型的な教師あり学習の識別問題である。ディープラーニングの訓練データのラベル(教師データ)は、人手でアノテーションして作成している。
廃棄物の材質の正確な識別は通常のRGB画像だけでは難しいこともあるが、ZRRの場合、近赤外光ハイパースペクトルカメラという高価なセンサを用いているため、比較的、容易に識別できるといえる。ディープラーニングという機械学習の識別能力だけでなく、高性能なセンサというハードウエアの力も併用して、頑健な材質識別を実現している。
一般にRGBカメラは各画素で赤、緑、青の3帯域(波長)のみで計測するが、ハイパースペクトルカメラはこの1画素当たりの帯域の数が10~100種類と非常に多い。広い帯域の光をほぼ連続的なスペクトルとして取得できるため、分光計測とも呼ばれる(「Sexy Technology」の記事を参照)。
物質の反射光のスペクトルは、物質ごとに固有のスペクトル形状となる。ハイパースペクトルカメラでこのスペクトル形状を得られれば、材質の識別は正確に実施できる訳だ。ZRRの場合、この分光スペクトルに加えてRGB画像や距離画像、金属探知機の計測結果もあわせてDNNに入力し、総合的に識別するようにした。
各廃棄物の材質が判明した後は、ロボットハンドで把持する順序を決める。廃棄物は材質の種類によってリサイクル向けの売却価格が異なる。このため、ZRRでは最も高く売却できる廃棄物から順にロボットハンドでピッキングし、選別するようにしている。