ステレオ映像から道路付属物の検出と3次元位置計測

近年、レーザーやSfMを用いて道路沿線を3次元計測して、結果を3次元点群データとして管理する事例も出てきています。
しかし、3次元点群データは各点にX,Y,Zの座標情報とRGBの色情報を持つのみで、オブジェクトとしての識別、クラス種別などの情報は取得できません。
そこで、SfMとディープラーニングの物体検出技術を組み合わせて、車両に搭載したステレオカメラ映像から道路付属物を検出・追跡しつつ、3次元距離計測して付属物の高さと走行中心位置からのオフセットを計測します。物体検出が苦手としているフレームを跨いだ物体の特定は、トラッキング技術を活用します。

ステレオカメラ

(上)物体検出と3次元位置情報の取得  /(下)深度画像