STT: 自動運転のためのステートフル追跡を実現するトランスフォーマー

STT: Stateful Tracking with Transformers for Autonomous Driving

April 30, 2024

著者: Longlong Jing, Ruichi Yu, Xu Chen, Zhengli Zhao, Shiwei Sheng, Colin Graber, Qi Chen, Qinru Li, Shangxuan Wu, Han Deng, Sangjin Lee, Chris Sweeney, Qiurui He, Wei-Chih Hung, Tong He, Xingyi Zhou, Farshid Moussavi, Zijian Guo, Yin Zhou, Mingxing Tan, Weilong Yang, Congcong Li

cs.AI

要旨

3次元空間における物体の追跡は、自動運転において極めて重要である。安全な運転を確保するためには、追跡システムがフレーム間で物体を確実に追跡し、現在の速度や加速度などの状態を正確に推定できなければならない。既存研究では、関連付けタスクに焦点を当てることが多く、状態推定におけるモデルの性能を軽視したり、状態を予測するために複雑なヒューリスティクスを導入したりしている。本論文では、Transformersを基盤としたStateful Trackingモデル（STT）を提案する。STTはシーン内の物体を一貫して追跡すると同時に、その状態を正確に予測することができる。STTは、検出の長期履歴を通じて豊富な外観、幾何学、および運動の信号を取り込み、データ関連付けと状態推定の両タスクに対して共同で最適化される。MOTAやMOTPといった標準的な追跡指標は、物体状態の広範なスペクトルにおける両タスクの総合的な性能を捉えられないため、この制限に対処する新しい指標であるS-MOTAとMOTPSを導入して拡張する。STTは、Waymo Open Datasetにおいて競争力のあるリアルタイム性能を達成している。

English

Tracking objects in three-dimensional space is critical for autonomous driving. To ensure safety while driving, the tracker must be able to reliably track objects across frames and accurately estimate their states such as velocity and acceleration in the present. Existing works frequently focus on the association task while either neglecting the model performance on state estimation or deploying complex heuristics to predict the states. In this paper, we propose STT, a Stateful Tracking model built with Transformers, that can consistently track objects in the scenes while also predicting their states accurately. STT consumes rich appearance, geometry, and motion signals through long term history of detections and is jointly optimized for both data association and state estimation tasks. Since the standard tracking metrics like MOTA and MOTP do not capture the combined performance of the two tasks in the wider spectrum of object states, we extend them with new metrics called S-MOTA and MOTPS that address this limitation. STT achieves competitive real-time performance on the Waymo Open Dataset.