STT: Rastreamento com Estado Usando Transformers para Condução Autônoma

STT: Stateful Tracking with Transformers for Autonomous Driving

April 30, 2024

Autores: Longlong Jing, Ruichi Yu, Xu Chen, Zhengli Zhao, Shiwei Sheng, Colin Graber, Qi Chen, Qinru Li, Shangxuan Wu, Han Deng, Sangjin Lee, Chris Sweeney, Qiurui He, Wei-Chih Hung, Tong He, Xingyi Zhou, Farshid Moussavi, Zijian Guo, Yin Zhou, Mingxing Tan, Weilong Yang, Congcong Li

cs.AI

Resumo

O rastreamento de objetos no espaço tridimensional é crucial para a condução autônoma. Para garantir a segurança durante a condução, o rastreador deve ser capaz de rastrear objetos de forma confiável entre quadros e estimar com precisão seus estados, como velocidade e aceleração, no momento presente. Trabalhos existentes frequentemente se concentram na tarefa de associação, enquanto negligenciam o desempenho do modelo na estimativa de estado ou empregam heurísticas complexas para prever os estados. Neste artigo, propomos o STT, um modelo de Rastreamento com Estado construído com Transformers, que pode rastrear objetos de forma consistente nas cenas enquanto também prevê seus estados com precisão. O STT consome sinais ricos de aparência, geometria e movimento por meio de um histórico de longo prazo de detecções e é otimizado conjuntamente para as tarefas de associação de dados e estimativa de estado. Como as métricas padrão de rastreamento, como MOTA e MOTP, não capturam o desempenho combinado das duas tarefas no espectro mais amplo de estados dos objetos, estendemos essas métricas com novas chamadas S-MOTA e MOTPS, que abordam essa limitação. O STT alcança um desempenho competitivo em tempo real no Waymo Open Dataset.

English

Tracking objects in three-dimensional space is critical for autonomous driving. To ensure safety while driving, the tracker must be able to reliably track objects across frames and accurately estimate their states such as velocity and acceleration in the present. Existing works frequently focus on the association task while either neglecting the model performance on state estimation or deploying complex heuristics to predict the states. In this paper, we propose STT, a Stateful Tracking model built with Transformers, that can consistently track objects in the scenes while also predicting their states accurately. STT consumes rich appearance, geometry, and motion signals through long term history of detections and is jointly optimized for both data association and state estimation tasks. Since the standard tracking metrics like MOTA and MOTP do not capture the combined performance of the two tasks in the wider spectrum of object states, we extend them with new metrics called S-MOTA and MOTPS that address this limitation. STT achieves competitive real-time performance on the Waymo Open Dataset.