Motion-Aware移動物体セグメンテーション

自動運転や自律型ロボットなどが安全に周囲を認識するためには、歩行者や走行車両などの移動物体を正確に捉える必要があります。なかでも、画像内のどの領域が移動物体に該当するかを画素単位で識別する移動物体セグメンテーション（Moving Object Segmentation：MOS）は、障害物検知や走行経路計画などを支える重要な技術です。

一般的なRGBカメラは、一定の時間間隔で画像を撮影します。そのため、高速移動する物体や急に動き始める物体については、連続画像の間で動きの情報が十分に取得できない場合があります。また、モーションブラー（画像のぶれ）が発生しやすく、夕方や夜間などの低照度環境では、移動物体を正確に認識することがさらに困難になります。

一方で、画像間の細かな変化を捉えることが可能なセンサとして、イベントカメラがあります。イベントカメラは、画素ごとの輝度の変化を非同期に検出するため、RGB画像のフレーム間で生じた高速な動きを高時間分解能で記録できます。一方、イベントデータは時間的・空間的に疎であり、一般的な画像認識モデルにそのまま組み込むことは容易ではありません。また、実際のシステムで常時利用する場合には、専用センサの搭載に加え、イベントデータに対応した処理が必要になります。

本論文では、我々は、イベントカメラで捉えた詳細な動きを学習時の教師情報として活用し、実際の推論時には単一のRGB画像のみからのMOS性能を向上させる手法を提案しました。

我々は、連続するRGB画像のフレーム間で失われる微細な動きを抽出するため、イベント駆動型動的モード分解（Event-Driven Dynamic Mode Decomposition：ED-DMD）を提案しました。動的モード分解（Dynamic Mode Decomposition：DMD）は、時間とともに変化する複雑なデータから、主要な変化パターンを抽出する数理解析手法です。本技術では、連続フレーム間でイベントカメラが捉えた輝度変化を複数の短い時間区間に分割しDMDを適用します。これにより、大量で疎なイベントデータを、移動物体の主要な動きを表すコンパクトな特徴量に変換します。

一般的なRGB画像の差分だけでは、連続する画像の間で生じた細かな時間変化を十分に捉えることが難しく、移動物体の主要な動きの傾向が失われる場合があります。これに対し、ED-DMDは、イベントデータに含まれる時間的な変化を解析することで、RGB画像の間で失われた動きの情報を抽出します（図1A）。

さらに、我々はRGB画像から得られる物体の形状や外観と、ED-DMDで抽出した動きの特徴量を組み合わせて学習するため、動きを考慮したセグメンテーションネットワーク（Motion-Aware Segmentation Network：MAS-Net）を提案しました。MAS-Netは、RGB画像から物体の形状や外観などの空間的特徴を抽出するとともに、その特徴から物体の動きの傾向を予測します。学習時には、ED-DMDによって抽出した動きの特徴量を教師情報として与えることで、RGB画像のどのような特徴が物体の動きと関連しているかをモデルに学習させます（図1B）。

図1：ED-DMDによる動き情報の抽出とMAS-Netの仕組み

学習によってMAS-Netの内部に動きに関連した特徴抽出機能が獲得されるため、推論時にはイベントデータなしで、RGB画像のみから、物体の形状や外観・動きの傾向も考慮した移動物体認識が可能になります。この仕組みにより、既存のRGBカメラを使用したシステムにも適用しやすく、追加センサ導入に伴うコストやシステム構成の複雑化を抑えながら、動きを考慮した移動物体認識を実現できます。

実際の走行環境を収録したデータを用いてMOSの性能を評価した結果、昼間だけでなく、光量が少ない夕方や夜間、対象物の一部がほかの物体に遮蔽される場面においても、移動車両の形状と輪郭を安定して抽出できることを確認しました。図2は、上から昼間、夕方、夜間の走行シーンにおける評価結果の一例を示しています。各列は左から、（a）入力RGB画像、（b）移動物体の正解領域、（c）従来手法による認識結果、（d）提案手法による認識結果を示しており白色領域が移動物体として抽出された部分を表しています。提案手法は、複雑な背景や低照度環境においても、従来手法と比べて移動物体の形状や輪郭をより正確に抽出できていることを確認しました。また、画面内に存在する物体を単に抽出するのではなく、停止している物体と実際に移動いている物体を区別する精度も向上していることも確認しました。

今回開発した技術により、RGBカメラだけでは捉えにくい画像間の細かな動きを学習時に活用し、その知識をMAS-Netに取り込むことで、実際の利用時にはRGB画像のみで、動きを考慮した移動物体認識を行うことが可能になりました。利用時にイベントデータを必要としないため、既存のRGBカメラを使用したシステムにも適用しやすく、追加センサーに伴うコストやシステム構成の複雑化を抑えられることが期待されます。

今後は、学習時に詳細な動き情報を活用し、その知識をRGB画像のみで動作するモデルへ継承する考え方をさらに発展させ、車両、パーソナルモビリティ、移動ロボットなど、さまざまなシステムへの応用を目指します。本技術の発展と応用を通じて、複雑な交通環境における安全性の向上と、安心・快適なモビリティ社会の実現に貢献していきます。