ELECQUESTtでは、77GHz帯ミリ波レーダーと、SPRESENSEを中心としたIMU姿勢取得系を組み合わせ、センサが移動している状態でも周囲の反射点や移動体候補をリアルタイムに可視化する試作システムを開発しました。
今回の実装では、レーダーから得られる距離・相対速度・角度情報と、IMUから得られる姿勢情報を同じ時間軸上で統合しています。
これにより、センサを固定した状態だけでなく、移動体やドローン、ロボットなどへ搭載した状態でも、周囲の状況を2D・3Dで把握することを目指しています。
本技術は、設備・インフラ点検、物流現場、移動ロボット、ドローン運航支援、港湾設備の監視など、幅広い民生・産業用途への応用を想定しています。
移動するレーダーで周囲を地図化する難しさ
ミリ波レーダーは、対象物までの距離や相対速度、反射が到来した方向を取得できます。
一方、レーダー自体が移動したり、傾いたり、旋回したりすると、観測結果には対象物の動きだけでなく、次の要素が含まれます。
- センサ自身の移動
- ロール、ピッチ、ヨー方向の姿勢変化
- 機体や車体から発生する振動
- 静止物体に対する見え方の変化
- 移動体と固定物の相対速度
この状態でレーダーの観測点をそのまま蓄積すると、実際には同じ場所にある物体が複数の位置に表示されるなど、地図にずれが生じます。
そこで今回の試作では、IMUから取得した姿勢情報をレーダーフレームと同期させ、レーダー座標から地図座標への変換に利用しました。
静止区間を利用した運動補正や、レーダーのドップラー情報を活用した移動量推定も組み合わせ、センサが移動している最中も観測結果を地図へ追加できる構成としています。
今回実装した主な機能
今回の試作システムでは、主に次の機能を実装しています。
- RADARによる距離・相対速度・角度情報の取得
- SPRESENSEを中心としたIMUデータの取得
- レーダーとIMUデータへの共通タイムスタンプ付与
- IMU姿勢を用いたレーダー観測方向の補正
- 静止区間およびドップラー情報を利用した運動補正
- 反射点と移動体候補の追跡
- 対象候補への追跡ID付与
- 2D俯瞰表示と3D蓄積表示
- 追跡状態や補正状態のリアルタイム表示
現段階では、対象を一意に識別する完成品ではなく、周囲に存在する物体や移動体の候補を検出し、その位置関係を継続的に可視化するための技術実証システムです。
2DのRange–Doppler–Angle表示
2D画面では、センサを中心として、対象候補までの距離、方向、相対速度、追跡状態を俯瞰表示しています。
各候補には追跡IDを付与し、複数フレームにわたって同じ対象として追跡できるようにしています。
対象がセンサへ接近しているか、離れているか、ほぼ静止しているかについても、レーダーから得られるドップラー情報を使って表示します。
図1：Range–Doppler–Angle情報を利用した2D俯瞰表示
この画面では、距離ごとの円弧とレーダーの観測範囲を表示し、その中に検出された反射点、対象候補、追跡IDを重ねています。
センサを移動させた場合も、IMUによるヨー方向などの姿勢補正を反映しながら、地図上の候補位置を更新します。
IMU補正を反映した3D蓄積表示
3D画面では、移動しながら取得したレーダー観測結果を共通の座標上に蓄積しています。
反射のまとまりを候補領域として表示し、センサの移動軌跡、観測方向、対象候補の位置関係を立体的に確認できます。
図2：IMU姿勢補正を反映した3D蓄積マップ
レーダー単体では、センサが旋回すると観測方向も同時に変化します。今回のシステムでは、IMUから取得した姿勢情報を使用し、それぞれのレーダーフレームを共通の地図座標へ変換しています。
これにより、移動体へ搭載した状態でも、周囲の構造物や反射点を徐々に地図へ追加できる可能性を確認しています。