産業ロボットへの適用を通じて、工場や物流倉庫などにおける人手作業の自動化をめざす
日立は、3次元カメラ*1で撮影した画像データとAIで識別した物体形状データを高速に照合する技術を開発し、平面や曲面からなる複雑な形状の物体をリアルタイムに認識することに成功しました。従来は、画像データ中の照合を行う点に対応する物体形状データ内の点を1点ずつ照合していたのに対し、本技術では物体形状データの点同士に位置関係の情報を持たせる構造(グラフ構造)を採用したことで、複数の点を同時に照合することができます。これにより、照合速度を従来の約10倍*2に高速化することが可能となり、0.6秒程度で棚に乱雑に置かれたコーヒーカップなどの物品の位置や向きを認識できることを確認しました。今後、日立は、本技術を産業ロボットへ適用し、作業の自動化や高速化技術の開発を通じて、工場や物流の効率的な運営に貢献していきます。
図1 開発技術を用いた任意形状物体認識の概要
背景および取り組んだ課題
- 少子高齢化による労働者人口の減少*3により、工場や物流倉庫などにおいて、従来人手で行われていた作業(物品の組立て、ピッキング、包装など)の自動化が望まれている。
- 作業の自動化に向けて、ランダムに置かれた複雑な形状の物体を3次元で高速に照合し、リアルタイムで認識する必要がある。
開発した技術
- カメラ画像データと物体形状データの複数の点を同時に照合可能なグラフ構造化技術
- データのグラフ構造化処理を高速に行うデータフロー型回路*4技術
確認した効果
- 本技術を市販のFPGA*5上に実装して検証を行い、0.6秒で棚に乱雑に置かれた物品の位置と向きを特定できることを確認
発表する論文、学会、イベントなど
- 本成果の一部を2019年4月29日から5月1日に米国サンディエゴで開催されたThe 27th IEEE International Symposium on Field-Programmable Custom Computing Machinesで発表済
開発した技術の詳細
1. 3次元のカメラ画像データと物体形状データの複数の点を同時に照合可能なグラフ構造化技術
複雑な形状の物体の認識は、カメラ画像データをもとにディープラーニングを用いて物体の種類識別を行い、その識別結果に従って呼び出された物体形状データとカメラ画像データとを照合することで行います。従来の物体形状データは照合する各点の位置情報のみであったため、各点を照合する必要があり、時間が掛かっていました。本技術では、物体形状データの各点に対して、周辺の点の位置情報を割り付けた構造(グラフ構造、図2-b)を採用したことで、1点照合すると周辺の点も同時に照合できるようにしました。具体的には、カメラ画像データ点(図2-bの×印)に最も近い物体形状データ内の1点(点8)のみ照合し、残りの点(点4、点3、点7)は、グラフ構造化されたデータ(図2.b)から即時読み取ることで、処理を高速化しました。
図2 グラフ構造化された物体形状データとイメージ図
2. データのグラフ構造化処理を高速に行うデータフロー型回路技術
物体形状データの点同士に位置関係の情報を持たせてグラフ構造化する過程において、2点間の距離計算と、計算された距離の並べ替え演算が大量に発生します。従来のCPU*6を用いた並べ替え回路では、2つの距離の大小比較と、その比較結果にもとづくメモリ内容の更新を逐次行う必要があったため時間が掛かっていました(図3.a)。そこで、今回、多数の比較器で、あらゆる組合せの距離を同時並列で比較できるようにするために、FPGA上にデータフロー型の並べ替え回路を実装しました(図3.b)。さらに、メモリの読み書きも最小限にすることで、高速なグラフ構造化生成を実現しました。
図3 グラフ構造化生成回路のコアとなる並べ替え回路（従来との比較）
*1 3次元カメラ：通常のRGBカメラに、奥行き情報を取得する距離センサを組み合わせたもの。
*2 2019年6月現在、日立調べ。
*3 2030年時点で650万人の労働力不足の見積もり(パーソル総合研究所 https://rc.persol-group.co.jp/roudou2030/)。
*4 データフロー型回路：並列動作やメモリアクセスの削減などにより、データの流れを止めずに演算を進められる回路。
*5 FPGA(Field Programmable Gate Array)：プログラム可能なデジタル演算ハードウェア。
*6 CPU(Central Processing Unit)：中央演算処理装置。
照会先
株式会社日立製作所 研究開発グループ
問い合わせフォームへ
