TAPTRv3: Пространственный и временной контекст способствуют надежному отслеживанию любой точки в длинном видео.

TAPTRv3: Spatial and Temporal Context Foster Robust Tracking of Any Point in Long Video

November 27, 2024

Авторы: Jinyuan Qu, Hongyang Li, Shilong Liu, Tianhe Ren, Zhaoyang Zeng, Lei Zhang

cs.AI

Аннотация

В данной статье мы представляем TAPTRv3, который основан на TAPTRv2 с целью улучшения его устойчивости к отслеживанию точек в длинных видео. TAPTRv2 представляет собой простую архитектуру, аналогичную DETR, способную точно отслеживать любую точку в видео из реального мира без необходимости использования объемно-стоимостных данных. TAPTRv3 улучшает TAPTRv2, решая его недостаток в запросе высококачественных признаков из длинных видео, где отслеживаемые точки обычно подвержены увеличивающемуся изменению со временем. В TAPTRv3 мы предлагаем использовать как пространственный, так и временной контекст для более качественного запроса признаков вдоль пространственных и временных измерений для более надежного отслеживания в длинных видео. Для улучшения пространственного запроса признаков мы представляем Межвнимательность с Учетом Контекста (CCA), которая использует окружающий пространственный контекст для улучшения качества оценок внимания при запросе признаков изображения. Для улучшения временного запроса признаков мы вводим Долговременное Внимание с Учетом Видимости (VLTA) для проведения временного внимания ко всем прошлым кадрам с учетом их соответствующей видимости, что эффективно решает проблему смещения признаков в TAPTRv2, вызванную его долговременным моделированием, аналогичным RNN. TAPTRv3 превосходит TAPTRv2 с большим отрывом на большинстве сложных наборов данных и достигает передовых показателей. Даже в сравнении с методами, обученными на большом объеме дополнительных внутренних данных, TAPTRv3 остается конкурентоспособным.

English

In this paper, we present TAPTRv3, which is built upon TAPTRv2 to improve its point tracking robustness in long videos. TAPTRv2 is a simple DETR-like framework that can accurately track any point in real-world videos without requiring cost-volume. TAPTRv3 improves TAPTRv2 by addressing its shortage in querying high quality features from long videos, where the target tracking points normally undergo increasing variation over time. In TAPTRv3, we propose to utilize both spatial and temporal context to bring better feature querying along the spatial and temporal dimensions for more robust tracking in long videos. For better spatial feature querying, we present Context-aware Cross-Attention (CCA), which leverages surrounding spatial context to enhance the quality of attention scores when querying image features. For better temporal feature querying, we introduce Visibility-aware Long-Temporal Attention (VLTA) to conduct temporal attention to all past frames while considering their corresponding visibilities, which effectively addresses the feature drifting problem in TAPTRv2 brought by its RNN-like long-temporal modeling. TAPTRv3 surpasses TAPTRv2 by a large margin on most of the challenging datasets and obtains state-of-the-art performance. Even when compared with methods trained with large-scale extra internal data, TAPTRv3 is still competitive.