この記事は日経Robotics 有料購読者向けの記事ですが
日経Robotics デジタル版(電子版)』のサービス開始を記念して、特別に誰でも閲覧できるようにしています。
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
著者の岡野原大輔氏
著者の岡野原大輔氏
 

 当社は今年のAmazon Picking Challenge(APC)2016に「PFN」というチーム名で参加し、Picking部門で2位、Stow部門で4位という成績を収めた。このコンテストについては本誌記事でも解説されているので、ここでは参加した立場から述べてみたい(図1)。

 APCの存在自体は当初から知っていたものの、我々がAPC 2016に参加を決めたのは、今年3月のことである。チームメンバーの1人である当社リサーチャーの松元叡一が興味を持ち、参加してみたいとのことで参加を決めた。

 コンテストに参加する目的は3つある。1つ目は我々の技術が現在の世の中の技術水準と比べてどの程度なのか試してみたかったこと、2つ目はこのコンテストを通じて技術開発を大きく加速できると期待されたこと、3つ目はロボティクス分野の交流ネットワークを広げたかったこと、である。参加を決めた後は、まずコンテストの情報を集めるため、昨年参加した東京大学大学院 情報システム工学研究室(JSK)准教授の岡田慧氏を訪ね、昨年のコンテストの様子などを伺った。この中で、APCの問題設定がちょうど今の技術で解けるかどうかぐらいの難易度で面白い問題になっているということを伺い、改めて参加の意志を強くした。岡田氏は初対面であった我々にも丁寧かつ詳細に教えていただいた。改めてここで感謝したい。

図1 APC会場での当社チームのロボットの様子
図1 APC会場での当社チームのロボットの様子
向かって左のロボットが吸引ハンドを、右のロボットがグリッパを、それぞれ備えている。
[画像のクリックで拡大表示]

 我々は初出場であり、かつ準備期間が3カ月と短かったため、常に時間との勝負となった。例えば、ロボットの調達は本来であれば時間がかかるが、当社の事業パートナーでもあるファナックにかなり無理を聞いてもらい、コンテスト用のロボットを3台迅速に提供していただいた。調整いただいたファナックの皆様、特に専務の稲葉清典氏に感謝したい。チームメンバーは最初3人だったが、ここに2016年4~6月に入社してきたメンバーが途中参加し、最終的には7人となった(図2)。途中参加した1人は、もうコンテストの期日がすぐに迫っているのに、まだ試作1回目のハンドを発注中だと聞いて呆れていた。それほど準備はぎりぎりであった。

図2 チームメンバー
図2 チームメンバー
左から3番目が参加を提案した松元、左から4番目が筆者である。
[画像のクリックで拡大表示]

オクルージョンが激しく発生する課題設定

 今年のピッキング課題では、昨年と比べて商品の認識が特に難しくなった。棚の中に複数の商品が重なる形で置かれており、オクルージョン(物体の一部が隠れて見えない現象)が激しく発生している。そのため、商品の検出や分類が難しく、またそれを取り出すための戦略も高度となる。例えば、まだ見えない奥の商品を取り出すためには、手前の商品を移動する必要なども出てくる。

 また、ピッキングが難しい商品も増えた。具体的には吸引ハンドで吸い上げるのが困難な重いダンベルや小さめのはさみ、カメラやLIDARでの認識が困難な透明なペットボトル、認識もピッキングも難しい金属の網状のペンケースなどである。こうした難しい商品を無視するという戦略もありえたが、優勝するにはこれらも取らないと難しく、コストをかけても特別な処理が必要となる。例えば、我々の場合、ダンベルとペンケースのためだけに追加でロボットをもう1台用意し、そこにグリッパ(挟持型ハンド)を実装した。実際、これらの難易度の高い商品を取れたかどうかが上位の順位を決定した。

 研究で実現されているように、ロボットの動作自身も教師あり学習や強化学習で決めるという方針も当初は検討した。しかし、今回は準備時間が足りないこと、今回のタスクはシミュレーションがしにくく学習や検証が難しいことから、我々は認識の部分にのみ深層学習を使い、動作自体はプログラムで決めた。ただし、セグメンテーションを物体の検出のためだけに使うのではなく、ピッキングする位置を推定するためにも利用した。人は商品が置かれた画像を見た時、商品の形状や性質の事前知識に基づいて、どこを把持すればうまく取れるのかを正しく認識できる。そこで、機械にシミュレーションさせるのではなく、そこへアプローチすれば正しくピックできる位置を人手によりアノテーションし、それを訓練データとして深層学習を行い、ピッキング位置を推定した。これは知る限り我々のチームだけが採用したアプローチであり、後に大きく評価された。

 ロボットやハンドを海外へ輸送するのについても非常に苦労した。海外のロボットの展示会への出展など経験してない我々にとっては、輸送や関税の仕組みなどから情報収集し、準備を進めなければならなかった。コンテスト直前、さらには会場入り直前まで準備が進められた。

直動機構で特異点の問題を回避

 ここから、実際のコンテスト期間中の話に移ろう。コンテスト会場は環境が整っており、昨年の反省を活かしたのであろう、チーム毎の場所と競技用の棚が用意され、コンテスト直前までそこで調整することができた。また、会場のすぐ隣が大きなホームセンターになっており、そこで直前で必要になった工具などを揃えることができた。改善の余地があるとすれば、棚がその表裏で隣のチームと共有されており、ロボットアームなどが棚にぶつかると隣のチームにも影響を与えてしまう点である。当社のチームも準備中に何度も棚にぶつかり、隣のチームにご迷惑をお掛けした。また、吸引器やそれを使って吸い上げるハンドが鋭く大きな音を出し、苦情を多く受けた。我々のチームは“うるさかったで賞”という特別賞まで受賞したくらいである。APC 2016のすぐ隣で開催されていた「RoboCup 2016」のタスクの1つが音声認識であったと後で知り、申し訳ない気持ちになった。

 チーム内のロボットコンテスト経験者が「最後の数日での改善が大きな差になる」と話していたがまさにそうあり、直前まであらゆる調整が続けられた。我々は大丈夫であったが、多くのチームが照明条件の違いに悩まされていた。今回はカメラによる画像認識が重要であり、準備中に会場よりも明るい環境で実験していたチームは強い照明をつければ解決したが、暗い環境で実験していたチームは会場を暗くするために四苦八苦していた。あるチームはカーテンを用意し、他のチームはロボットと棚を覆うテントを用意した。

 本番前の練習中からすぐ分かったのが、直線に押し引きする機構を持ったチーム(DelftやNimbRo Picking)の動作が非常に安定していたということだ。現在の垂直多関節ロボットで棚から商品を地面に水平に押したり、引いたりする動きの時、ロボットの先端がそれ以上動かせなくなる特異点の問題が起きやすい。例えば、自分の上腕を床に並行にし、上腕の向きを変えずに押し引きする動作を考えて欲しい。肩あたりがかなり苦しいと思うが、これと似たようなことが垂直多関節ロボットでも起きる。多くの産業用ロボットの利用例のように、決められた動作を繰り返す場合には、あらかじめ特異点を回避するような動きをプログラムしておけば済む。

 しかし、今回のように状況に応じて動きを動的に変える場合、各軸の回転制限や特異点に遭遇する可能性が出てくる。これを回避する方法の1つがロボットの自由度を上げることである。オランダTechnical University of DelftのTeam Delftはロボット自身を前後に動かす機構、ドイツUniversity of BonnのNimbRo Pickingはハンドに前後に動く機構を付けることで、この問題を回避した。昨年、吸引ハンドを採用したチームが優勝し、今年は皆それを採用したのと同じように、来年は直線に動かす機構を多くのチームが採用するだろう。

練習用データへの過学習が失敗要因の可能性も

 1つ面白い現象として、練習を何回やっても失敗しなかった商品の扱いが、本番時にだけ失敗するチームが多かった。我々のチームも本(通称、バニーブック)の取得について、練習ではミスしたことがなかったが、本番で初めて失敗した。この理由として、各チームのシステムは練習用のデータに過学習していたのではないかと考えられる。例えば、練習に使っていた商品は使い込まれていたが、本番で使った商品は新品に近かった。過学習については、例えば学習データにノイズを入れる、学習の際にノイズを入れる、定期的にテスト環境に近い状況で評価し過学習していないかを確かめる、評価システムの中に評価データに過適合しない仕組み(例えば参考文献1)を入れる、などの対策が取れる。

 我々のチームは、注力していたPickについてはほぼ想定通りの結果を出せた(我々の競技終了直後、1位に相当する得点を審判から当初伝えられ、喜んだのもつかの間、その後、審判が得点を修正し、同点によりタイブレークで2位という運命のいたずらもあった)。与えられた時間の中で十分に力を発揮できたのではないかと思う。さらに、従来の目標も達成された。チームメンバーの負荷は相当なものだったが、各個人も成長し、技術自体も大きく進化した。また、他チームや関係者、また観戦者との間のネットワークを作ることができた。始める前よりもずっと深く問題について理解し、各要素技術とそれらが統合された結果の関係の理解も深まった。

将来は未知の商品のピッキングで強化学習も

 今後、APCではどのような課題があり得るだろうか。今回は課題対象の商品は全てあらかじめ教えられており、その商品の実物を使って練習をすることができた。実際の物流現場では新商品が次々と出る中で、あらかじめ全ての商品について十分テストするのは困難かもしれない。その場合、一度もテストしていない未知の商品をピッキングするタスクが課題として出される可能性があり、その場合、今回は使わなかった強化学習が有効なケースも出てくる。

 また、ピッキングの精度が十分となってきた場合、次は速度も問題になるだろう。人間が商品を出し入れした場合、1つの商品当たり3~5秒程度で、商品を傷つけずに正確に詰め込んだり、取り出したりできる。これに対し、今回のコンテストでは1商品当たり30秒から1分かかっていた。産業用ロボットの本来の動作速度としては人間と同程度、もしくはそれ以上に速く作業できるだろうが、その場合、正確にかつ商品を傷付けずに作業できるかが課題となる。

 また、吸引ハンドで取れない商品をどうするのかも問題となる。今回はそうした商品への対策は商品ごとに考えているが、より汎用的な方法が必要になるだろう。3Dプリンタでハンドを設計したチームがいくつかみられたが、ハンド自身の開発も重要となる。また、商品を棚に置くStow課題は今回皆、単純なルールで空いているスペースに商品を無理やり押し込むことで実現していた。箱への梱包やスペースの最大利用を考えた場合、置く順番や位置をより賢く決定する必要がある。

 今回のコンテストはまだ2回目だが、実用化に向けて大きく近づいていると考えられる。今後さらに現実の問題に近づけて難易度が高くなるとともに、今回の成果を基にした産業利用に向けた取り組みも進むだろう。    

1)C. Dwork et al., “The reusable holdout: Preserving validity in adaptive data analysis,”Science, vol.349, issue 6248, pp.636-638, Aug 2015.
岡野原 大輔(おかのはら・だいすけ)
Preferred Networks 取締役副社長
岡野原 大輔2006年にPreferred Infrastructureを共同創業。2010年、東京大学大学院博士課程修了。博士(情報理工学)。未踏ソフト創造事業スーパークリエータ認定。東京大学総長賞。