STT: Tracciamento Stateful con Trasformatori per la Guida Autonoma

STT: Stateful Tracking with Transformers for Autonomous Driving

April 30, 2024

Autori: Longlong Jing, Ruichi Yu, Xu Chen, Zhengli Zhao, Shiwei Sheng, Colin Graber, Qi Chen, Qinru Li, Shangxuan Wu, Han Deng, Sangjin Lee, Chris Sweeney, Qiurui He, Wei-Chih Hung, Tong He, Xingyi Zhou, Farshid Moussavi, Zijian Guo, Yin Zhou, Mingxing Tan, Weilong Yang, Congcong Li

cs.AI

Abstract

Il tracciamento degli oggetti nello spazio tridimensionale è fondamentale per la guida autonoma. Per garantire la sicurezza durante la guida, il sistema di tracciamento deve essere in grado di seguire in modo affidabile gli oggetti attraverso i fotogrammi e stimare con precisione i loro stati, come velocità e accelerazione, nel presente. I lavori esistenti si concentrano spesso sul compito di associazione, trascurando le prestazioni del modello nella stima degli stati o implementando euristiche complesse per prevedere tali stati. In questo articolo, proponiamo STT, un modello di tracciamento con stato basato su Transformer, che può tracciare in modo coerente gli oggetti nelle scene e prevedere con precisione i loro stati. STT utilizza segnali ricchi di aspetto, geometria e movimento attraverso una cronologia a lungo termine delle rilevazioni ed è ottimizzato congiuntamente per i compiti di associazione dei dati e stima degli stati. Poiché le metriche standard di tracciamento come MOTA e MOTP non catturano le prestazioni combinate dei due compiti nello spettro più ampio degli stati degli oggetti, le estendiamo con nuove metriche chiamate S-MOTA e MOTPS che affrontano questa limitazione. STT raggiunge prestazioni competitive in tempo reale sul dataset Waymo Open.

English

Tracking objects in three-dimensional space is critical for autonomous driving. To ensure safety while driving, the tracker must be able to reliably track objects across frames and accurately estimate their states such as velocity and acceleration in the present. Existing works frequently focus on the association task while either neglecting the model performance on state estimation or deploying complex heuristics to predict the states. In this paper, we propose STT, a Stateful Tracking model built with Transformers, that can consistently track objects in the scenes while also predicting their states accurately. STT consumes rich appearance, geometry, and motion signals through long term history of detections and is jointly optimized for both data association and state estimation tasks. Since the standard tracking metrics like MOTA and MOTP do not capture the combined performance of the two tasks in the wider spectrum of object states, we extend them with new metrics called S-MOTA and MOTPS that address this limitation. STT achieves competitive real-time performance on the Waymo Open Dataset.