TAPTRv3: El Contexto Espacial y Temporal Fomenta el Seguimiento Robusto de Cualquier Punto en Videos Largos

TAPTRv3: Spatial and Temporal Context Foster Robust Tracking of Any Point in Long Video

November 27, 2024

Autores: Jinyuan Qu, Hongyang Li, Shilong Liu, Tianhe Ren, Zhaoyang Zeng, Lei Zhang

cs.AI

Resumen

En este documento, presentamos TAPTRv3, que se basa en TAPTRv2 para mejorar la robustez del seguimiento de puntos en videos largos. TAPTRv2 es un marco simple similar a DETR que puede rastrear con precisión cualquier punto en videos del mundo real sin necesidad de volumen de costos. TAPTRv3 mejora TAPTRv2 al abordar su deficiencia en la obtención de características de alta calidad de videos largos, donde los puntos de seguimiento objetivo normalmente experimentan una variación creciente con el tiempo. En TAPTRv3, proponemos utilizar tanto el contexto espacial como temporal para lograr una mejor obtención de características a lo largo de las dimensiones espacial y temporal para un seguimiento más robusto en videos largos. Para una mejor obtención de características espaciales, presentamos Atención Cruzada Consciente del Contexto (CCA), que aprovecha el contexto espacial circundante para mejorar la calidad de los puntajes de atención al consultar características de imagen. Para una mejor obtención de características temporales, introducimos Atención Larga-Temporal Consciente de la Visibilidad (VLTA) para llevar a cabo atención temporal a todos los fotogramas anteriores considerando sus visibilidades correspondientes, lo que aborda eficazmente el problema de desplazamiento de características en TAPTRv2 causado por su modelado largo-temporal similar a RNN. TAPTRv3 supera ampliamente a TAPTRv2 en la mayoría de los conjuntos de datos desafiantes y obtiene un rendimiento de vanguardia. Incluso en comparación con métodos entrenados con grandes cantidades de datos internos adicionales, TAPTRv3 sigue siendo competitivo.

English

In this paper, we present TAPTRv3, which is built upon TAPTRv2 to improve its point tracking robustness in long videos. TAPTRv2 is a simple DETR-like framework that can accurately track any point in real-world videos without requiring cost-volume. TAPTRv3 improves TAPTRv2 by addressing its shortage in querying high quality features from long videos, where the target tracking points normally undergo increasing variation over time. In TAPTRv3, we propose to utilize both spatial and temporal context to bring better feature querying along the spatial and temporal dimensions for more robust tracking in long videos. For better spatial feature querying, we present Context-aware Cross-Attention (CCA), which leverages surrounding spatial context to enhance the quality of attention scores when querying image features. For better temporal feature querying, we introduce Visibility-aware Long-Temporal Attention (VLTA) to conduct temporal attention to all past frames while considering their corresponding visibilities, which effectively addresses the feature drifting problem in TAPTRv2 brought by its RNN-like long-temporal modeling. TAPTRv3 surpasses TAPTRv2 by a large margin on most of the challenging datasets and obtains state-of-the-art performance. Even when compared with methods trained with large-scale extra internal data, TAPTRv3 is still competitive.