映像解析技術を核とした作業認識ソリューション

本ユースケースは，作業者に負担をかけずに組立作業エリア内での実作業時間を計測するものである。図1に示すように，作業者は音声入力により3D（3 Dimensions）作業手順書を操作しながら，作業エリア内で製品を組み立てる。手順書の操作ログでおおよその作業時間を捉えることはできるが，何らかの事情で作業中に作業者がエリアを離れた場合などに正確な作業時間を計測できないという課題があった。

そこで，この作業エリアに複数のカメラ（Sense）を設置し，映像解析によるヒト位置の認識結果（Human）と手順書の操作ログ（Method）を統合することで，組立作業の実作業時間を計測することとした。ヒト位置の認識は，ディープラーニングによるヒトの検知と，二次元コードを用いたヒトの特定の組み合わせで実現している。ディープラーニングにより映像内の人物領域を検出し，人物領域内の二次元コードを検出してID（Identification）を特定することでヒトを特定する。その後，あらかじめ設定した作業エリアの領域内での滞在時間を積算し，操作ログと組み合わせて作業時間を算出する。

開発技術の有効性を検証するため，現場の実作業に対してヒト位置認識による実作業時間計測を適用した。その結果，実作業時間を平均誤差3％内で計測できることを確認した。

位置・動線の認識は，前述の生産性向上に向けたセル生産における作業者の作業時間計測，ライン生産における監督者や部品供給者の作業時間計測に加えて，安全性向上の観点から危険エリアへの入場管理などにも適用できる。

本ユースケースは，作業者や監督者に負担をかけずにライン作業における各工程の作業時間を計測するものである。従来はライン上でワークを流すコンベア（Machine）の動作信号を解析することで各工程へのワークの到着・出発時刻を計測し，作業時間を推定していた。しかし，各工程が同期して動くライン作業では，前後工程の状況によって作業者が手待ち状態になることがある。そのため，正確な実作業時間を計測するためには，作業者による作業開始・終了の入力や監督者の目視による計測が必要であった。

そこで，各工程に作業者を撮影するカメラを設置して，作業者の姿勢（例えば，手の位置）の時間的な変化から，作業状態を認識することとした。これにより，例えば，コンベア上のワークに対して作業している姿勢とコンベア上にワークがなく手待ち状態になっている姿勢とを識別する。

実作業時間計測アルゴリズムの全体像を図2に示す。姿勢推定部では，作業映像の各フレームを入力としてディープラーニングによる姿勢推定を行い，作業者の関節位置情報を推定する。作業識別部では，姿勢推定部で推定した関節位置情報から算出した特徴量の時系列データを入力として，ディープラーニングによる作業識別を行い，その作業者が「作業中」であるか，「手待ち」であるかといった作業状態を識別する。作業識別部では，時系列データの解析で実績のあるLSTM（Long Short-term Memory）をベースとしたニューラルネットワークを構築した。この作業識別結果（Human）とコンベア（Machine）の動作信号を組み合わせて，実作業時間を計測する。

開発技術の有効性を検証するため，現場の実作業に対して実作業時間計測を適用した。その結果，タクトタイム180秒の組立作業において，「作業中」と「手待ち」を識別することで，実作業時間を誤差±3秒内で計測できることを確認した。計測した実作業時間をさらに分析することで，例えば，各工程の作業改善やラインバランスの最適化を行い，生産性向上につなぐことができる。

姿勢・動作の認識は，前述のライン生産における各工程の実作業時間計測に加え，品質向上の観点から標準作業手順からの逸脱検知，安全性の観点から危険姿勢の検知などにも適用できる。

本ユースケースは，顕微鏡下の微細な手作業をサブミリ精度（0.1～1 mm程度の精度）で三次元定位するものである。精密機器の微細加工といった熟練手技を必要とする作業者の育成において，従来は定性的な指導が中心であり，手技の結果としての出来栄えを確認しながら試行錯誤を繰り返して，手技を習得させていた。そのため，技能者の育成に数か月を要していた。

そこで，微細な動作をデジタル化し，熟練作業者と一般作業者の手技を比較できる微細動作の認識システムを開発した。これにより，技能者を早期に育成し，作業品質の高位平準化を図る。

微細動作の認識システムの構成を図3に示す。ステレオカメラとして作業者の手元に2台のカメラを設置し，作業者が持つ工具に取り付けた二つの高精度微小マーカーを2台のカメラに同時に映るように撮影する。顕微鏡カメラは，作業者が使用する顕微鏡の鏡筒に取り付けたカメラであり，作業者が作業中に見ている映像を撮影する。そこには，複数のマーカーを取り付けたワークが映る。

ステレオカメラで工具の二つのマーカーの三次元位置を計測して，工具の先端位置を推定する。そして，推定した先端位置を顕微鏡カメラ座標に変換する。これには事前のキャリブレーションにより取得した，ステレオカメラと顕微鏡カメラで撮影した映像間の幾何的な関係を用いる。さらに顕微鏡カメラでワークのマーカーを計測して，ワークに対する工具の繊細な動きをサブミリ単位で得る。

開発技術の有効性を検証するため，現場の実作業に対して微細動作の認識を適用した。その結果，約4 mmのワーク領域に対する作業動作（工具先端位置）をサブミリ精度で定位できることを確認した。今後は，熟練作業者と一般作業者の動作の比較や，作業品質との相関分析により，熟練技能者の早期育成に活用していく。