Tracktention: Het Benutten van Puntvolgsystemen om Video's Sneller en Beter te Verwerken

Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better

March 25, 2025

Auteurs: Zihang Lai, Andrea Vedaldi

cs.AI

Samenvatting

Tijdelijke consistentie is cruciaal in videovoorspelling om ervoor te zorgen dat de uitvoer samenhangend is en vrij van artefacten. Traditionele methoden, zoals temporele aandacht en 3D-convolutie, kunnen moeite hebben met significante objectbewegingen en zijn mogelijk niet in staat om langetermijntijdsafhankelijkheden in dynamische scènes vast te leggen. Om dit gat te dichten, stellen we de Tracktention Layer voor, een nieuw architectuurcomponent dat expliciet bewegingsinformatie integreert met behulp van puntsporen, d.w.z. reeksen van corresponderende punten over frames. Door deze bewegingssignalen te incorporeren, verbetert de Tracktention Layer de temporele uitlijning en behandelt het complexe objectbewegingen effectief, waardoor consistente kenmerkrepresentaties in de tijd worden behouden. Onze aanpak is computationeel efficiënt en kan naadloos worden geïntegreerd in bestaande modellen, zoals Vision Transformers, met minimale aanpassingen. Het kan worden gebruikt om modellen die alleen op afbeeldingen werken, te upgraden naar state-of-the-art videomodellen, waarbij het soms modellen die specifiek zijn ontworpen voor videovoorspelling overtreft. We demonstreren dit op het gebied van videodieptevoorspelling en videokleurtoekenning, waar modellen die zijn uitgebreid met de Tracktention Layer een aanzienlijk verbeterde temporele consistentie vertonen in vergelijking met de basislijnen.

English

Temporal consistency is critical in video prediction to ensure that outputs are coherent and free of artifacts. Traditional methods, such as temporal attention and 3D convolution, may struggle with significant object motion and may not capture long-range temporal dependencies in dynamic scenes. To address this gap, we propose the Tracktention Layer, a novel architectural component that explicitly integrates motion information using point tracks, i.e., sequences of corresponding points across frames. By incorporating these motion cues, the Tracktention Layer enhances temporal alignment and effectively handles complex object motions, maintaining consistent feature representations over time. Our approach is computationally efficient and can be seamlessly integrated into existing models, such as Vision Transformers, with minimal modification. It can be used to upgrade image-only models to state-of-the-art video ones, sometimes outperforming models natively designed for video prediction. We demonstrate this on video depth prediction and video colorization, where models augmented with the Tracktention Layer exhibit significantly improved temporal consistency compared to baselines.