TAPTRv3：空間および時間的文脈が長時間のビデオ内の任意のポイントの堅牢なトラッキングを促進する

TAPTRv3: Spatial and Temporal Context Foster Robust Tracking of Any Point in Long Video

November 27, 2024

著者: Jinyuan Qu, Hongyang Li, Shilong Liu, Tianhe Ren, Zhaoyang Zeng, Lei Zhang

cs.AI

要旨

本論文では、TAPTRv2をベースに構築されたTAPTRv3を提案し、長時間のビデオにおけるポイントトラッキングの頑健性を向上させます。TAPTRv2は、コストボリュームを必要とせずに、リアルワールドのビデオ内の任意のポイントを正確に追跡できるシンプルなDETRに似たフレームワークです。TAPTRv3は、通常、時間とともに目標追跡ポイントが増加変動する長時間のビデオから高品質の特徴をクエリする際のTAPTRv2の不足を解消することで、TAPTRv2を改良します。TAPTRv3では、より頑健な長時間ビデオのトラッキングのために、空間的および時間的コンテキストの両方を活用して、空間および時間の次元でより良い特徴クエリをもたらすことを提案します。より良い空間的特徴クエリのために、周囲の空間的コンテキストを活用して画像特徴をクエリする際の注意スコアの品質を向上させるContext-aware Cross-Attention（CCA）を提案します。より良い時間的特徴クエリのために、Visibility-aware Long-Temporal Attention（VLTA）を導入し、対応する可視性を考慮しながらすべての過去フレームに対して時間的な注意を行い、TAPTRv2のRNNのような長時間モデリングによってもたらされる特徴のドリフト問題に効果的に対処します。TAPTRv3は、多くの難しいデータセットでTAPTRv2を大きく上回り、最先端のパフォーマンスを達成します。大規模な追加内部データで訓練された手法と比較しても、TAPTRv3は競争力を保ちます。

English

In this paper, we present TAPTRv3, which is built upon TAPTRv2 to improve its point tracking robustness in long videos. TAPTRv2 is a simple DETR-like framework that can accurately track any point in real-world videos without requiring cost-volume. TAPTRv3 improves TAPTRv2 by addressing its shortage in querying high quality features from long videos, where the target tracking points normally undergo increasing variation over time. In TAPTRv3, we propose to utilize both spatial and temporal context to bring better feature querying along the spatial and temporal dimensions for more robust tracking in long videos. For better spatial feature querying, we present Context-aware Cross-Attention (CCA), which leverages surrounding spatial context to enhance the quality of attention scores when querying image features. For better temporal feature querying, we introduce Visibility-aware Long-Temporal Attention (VLTA) to conduct temporal attention to all past frames while considering their corresponding visibilities, which effectively addresses the feature drifting problem in TAPTRv2 brought by its RNN-like long-temporal modeling. TAPTRv3 surpasses TAPTRv2 by a large margin on most of the challenging datasets and obtains state-of-the-art performance. Even when compared with methods trained with large-scale extra internal data, TAPTRv3 is still competitive.