指先の力加減や作業音などから作業ミスをリアルタイムに検知して、製造不良の防止に貢献

日立は、組立工程や検査工程のような人の手で作業を行う製造現場において、作業者がモノを掴んだ時の指先の力加減や作業音などのセンサーデータをリアルタイムに収集し、作業ミスの検知や作業記録の遠隔共有を可能にするセンサーグローブソリューション「FREEDi(フリーディ)*」を開発しました。本技術は、センサー内蔵グローブで取得したセンサーデータをスマートフォンアプリケーションへ送信し、学習アルゴリズムを用いた指先作業の正誤判定結果を表示します。これにより、手順漏れや手順違いなどの作業ミスを製造ライン上で検知し、その場で修正することが可能になり、製造不良の防止へ貢献します(図1)。
　日立は今後、「FREEDi」のセンシング技術の高精度化や、センシング手段(ウェアラブルカメラ)の追加を進め、多様なお客さまのニーズに応えるソリューションの高度化や、製造現場のあらゆる記録を統合した工場IoTソリューションの実現をめざします。

画像: 図1　センサーグローブソリューション「FREEDi」の概要 — 図1　センサーグローブソリューション「FREEDi」の概要

背景および取り組んだ課題

製造現場では近年、製造ラインの自動化・機械化が進んでいる一方で、多品種生産の現場や小さな部品を組み付ける現場では、人の手で部品を組み付ける工程が未だ多く残されています。
人が作業をする現場では、作業者が所定の手順を忘れたり、部品を組み立てる順番を誤るなどの作業ミスが日々起きており、製造不良の原因の一つとなっています。
製造現場では製造不良の原因となる人の作業ミスを防止するためにさまざまな施策に取り組んでおり、特に人の指先で行う繊細な作業をセンシングできる手段が求められていました。

開発した技術

圧力、マイク、慣性センサー(加速度・ジャイロ・地磁気)を内蔵したセンサーグローブ
指先作業の特徴を掴むことに優れ、多目的に使える学習アルゴリズム
指先作業の記録から作業検知までを容易に実行できるスマートフォンアプリケーション

確認した効果

2017年から現在までに、日立グループほか製造業３社で実施している実証実験により、現場で頻繁に行われる指先作業である、コネクタの接続作業、電動ドライバーを使用する作業、重量物を持ちあげる作業を検知できることを確認しました。

今後の展開

センサーグローブで取得したデータをクラウドへ送信し、遠隔地からデータ参照や分析が行えるように、システム構成を拡張します。
FREEDiのセンシング手段の拡張(ウェアラブルカメラによる視覚情報の記録など)を進め、多様なお客さまのニーズや現場に応えることができるよう、ソリューションを高度化します。
FREEDiの高度化を進め、作業者に負担をかけず(意識させず)にあらゆる作業の記録を自動収集できる環境をつくり、製造現場のあらゆる記録を統合した工場IoTソリューションの実現をめざします。

開発した技術の詳細

1. 圧力、マイク、慣性センサー(加速度・ジャイロ・地磁気)を内蔵したセンサーグローブ

さまざまな製造現場の指先作業に対応するために、圧力センサーとマイクならびに加速度センサー、ジャイロセンサー、地磁気センサーといった複数のセンサーと、Bluetooth送信機を内蔵したグローブを制作しました(図2)。親指と人差し指の腹部分に取り付けた2つの圧力センサー(図2の①)は、指で物をつかんだり、押さえつけたりする力をセンシングします。親指の付け根付近に取り付けた2カ所のマイク(図2の②)は、機器の稼働音で騒々しい現場でも繊細な指先の作業音を逃さず拾います。本技術を用いて取得したセンサーデータ(電動ドライバーを使用したねじ締め作業の例)を図3に示します。

画像: 図3　センサーグローブを用いて取得したセンサーデータ(電動ドリルを使用したねじ締め作業の例) — 図3　センサーグローブを用いて取得したセンサーデータ(電動ドリルを使用したねじ締め作業の例)

2. 指先作業の特徴を掴むことに優れ、多目的に使える学習アルゴリズム

指先作業の正誤を検知するための判定モデルを自動生成できる学習アルゴリズムを独自に開発しました。この学習アルゴリズムは、作業ラベルのついたセンサーデータ(人が判断して指先作業の時間を指定しラベル付けしたセンサーデータ)に対し、時系列を加味した作業の特徴を見つけることに優れています。具体的には、まず、センサーデータから特徴的な時系列パターンを見つけて自動で仕分けします。そして、仕分けた結果を特徴量とし、作業ラベルを用いて判定モデルを生成します。本技術により、作業ごとの個別カスタマイズ無しに判定モデルを自動生成することで、すばやい実現場への導入を可能にします。

3. 指先作業の記録から作業検知までを容易に実行できるスマートフォンアプリケーション

作業ミスのリアルタイム検知を実行するまでの一連のフローを容易に行えるスマートフォンアプリケーションを開発しました(図4)。主な機能として、①センサーグローブを用いて指先作業を記録する機能、②記録したセンサーデータを表示し、トリミングする機能、③判定モデルを自動生成する機能、④リアルタイムに作業検知をする機能、以上の4機能を持っています。
作業検知を実行するまでの流れは次の通りです(図5)。まずセンサーグローブをはめて作業を行い、アプリ上のスタート/ストップボタンを操作して作業開始前から終了後までの一定時間を記録し、センサーデータを取得します。次にアプリ上でセンサーデータの特徴を見ながら、作業の範囲のみを指定してトリミングします。このとき、指定した作業の正しい動作(OK)なのか誤った動作(NG)なのかも登録します。このトリミングデータを2つ以上作成し、複数選択した上でアプリ上の学習ボタンを押下すると、判定モデルが自動生成されます。この判定モデルを用いて製造ライン上での作業検知を行います。センサーグローブをはめて作業を行い、判定モデルが学習した動作を検知すると、アプリ上に判定結果(OKまたはNG)が表示されます。
電動ドライバーを使用したねじ締め作業の例では、約20秒間のセンサーデータと、2つのトリミングデータをもとに、正しいねじ締め動作を判定するモデルを生成することができました。本技術を活用し、所定の手順とは誤った動作の判定モデルを生成することで、作業ミスのリアルタイム検知を可能にします。