TAPTRv3: Contexto Espacial e Temporal Favorecem o Rastreamento Robusto de Qualquer Ponto em Vídeos Longos

TAPTRv3: Spatial and Temporal Context Foster Robust Tracking of Any Point in Long Video

November 27, 2024

Autores: Jinyuan Qu, Hongyang Li, Shilong Liu, Tianhe Ren, Zhaoyang Zeng, Lei Zhang

cs.AI

Resumo

Neste artigo, apresentamos o TAPTRv3, que é construído sobre o TAPTRv2 para melhorar a robustez do rastreamento de pontos em vídeos longos. O TAPTRv2 é um framework simples semelhante ao DETR que pode rastrear com precisão qualquer ponto em vídeos do mundo real sem necessidade de volume de custo. O TAPTRv3 melhora o TAPTRv2 ao abordar sua deficiência em consultar recursos de alta qualidade em vídeos longos, nos quais os pontos de rastreamento-alvo normalmente passam por variação crescente ao longo do tempo. No TAPTRv3, propomos utilizar tanto o contexto espacial quanto temporal para obter uma melhor consulta de recursos ao longo das dimensões espacial e temporal para um rastreamento mais robusto em vídeos longos. Para uma melhor consulta de recursos espaciais, apresentamos a Atenção Cruzada Consciente do Contexto (CCA), que aproveita o contexto espacial circundante para aprimorar a qualidade dos escores de atenção ao consultar recursos de imagem. Para uma melhor consulta de recursos temporais, introduzimos a Atenção Longo-Temporal Consciente da Visibilidade (VLTA) para conduzir atenção temporal a todos os quadros anteriores considerando suas visibilidades correspondentes, o que aborda efetivamente o problema de deslocamento de recursos no TAPTRv2 causado por seu modelo longo-temporal semelhante a RNN. O TAPTRv3 supera significativamente o TAPTRv2 na maioria dos conjuntos de dados desafiadores e obtém desempenho de ponta. Mesmo quando comparado com métodos treinados com grandes volumes de dados internos adicionais, o TAPTRv3 ainda é competitivo.

English

In this paper, we present TAPTRv3, which is built upon TAPTRv2 to improve its point tracking robustness in long videos. TAPTRv2 is a simple DETR-like framework that can accurately track any point in real-world videos without requiring cost-volume. TAPTRv3 improves TAPTRv2 by addressing its shortage in querying high quality features from long videos, where the target tracking points normally undergo increasing variation over time. In TAPTRv3, we propose to utilize both spatial and temporal context to bring better feature querying along the spatial and temporal dimensions for more robust tracking in long videos. For better spatial feature querying, we present Context-aware Cross-Attention (CCA), which leverages surrounding spatial context to enhance the quality of attention scores when querying image features. For better temporal feature querying, we introduce Visibility-aware Long-Temporal Attention (VLTA) to conduct temporal attention to all past frames while considering their corresponding visibilities, which effectively addresses the feature drifting problem in TAPTRv2 brought by its RNN-like long-temporal modeling. TAPTRv3 surpasses TAPTRv2 by a large margin on most of the challenging datasets and obtains state-of-the-art performance. Even when compared with methods trained with large-scale extra internal data, TAPTRv3 is still competitive.