Tracktention: Aprovechamiento del seguimiento de puntos para procesar videos de manera más rápida y eficiente

Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better

March 25, 2025

Autores: Zihang Lai, Andrea Vedaldi

cs.AI

Resumen

La consistencia temporal es crucial en la predicción de videos para garantizar que las salidas sean coherentes y estén libres de artefactos. Los métodos tradicionales, como la atención temporal y la convolución 3D, pueden tener dificultades con movimientos significativos de objetos y no capturar dependencias temporales de largo alcance en escenas dinámicas. Para abordar esta limitación, proponemos la Capa de Tracktention, un componente arquitectónico novedoso que integra explícitamente información de movimiento utilizando pistas de puntos, es decir, secuencias de puntos correspondientes a lo largo de los fotogramas. Al incorporar estas señales de movimiento, la Capa de Tracktention mejora la alineación temporal y maneja eficazmente movimientos complejos de objetos, manteniendo representaciones de características consistentes a lo largo del tiempo. Nuestro enfoque es computacionalmente eficiente y puede integrarse sin problemas en modelos existentes, como los Transformers de Visión, con modificaciones mínimas. Puede utilizarse para actualizar modelos diseñados únicamente para imágenes a modelos de última generación para video, superando en ocasiones a modelos diseñados nativamente para la predicción de video. Demostramos esto en la predicción de profundidad de video y la colorización de video, donde los modelos mejorados con la Capa de Tracktention muestran una consistencia temporal significativamente mejorada en comparación con los modelos base.

English

Temporal consistency is critical in video prediction to ensure that outputs are coherent and free of artifacts. Traditional methods, such as temporal attention and 3D convolution, may struggle with significant object motion and may not capture long-range temporal dependencies in dynamic scenes. To address this gap, we propose the Tracktention Layer, a novel architectural component that explicitly integrates motion information using point tracks, i.e., sequences of corresponding points across frames. By incorporating these motion cues, the Tracktention Layer enhances temporal alignment and effectively handles complex object motions, maintaining consistent feature representations over time. Our approach is computationally efficient and can be seamlessly integrated into existing models, such as Vision Transformers, with minimal modification. It can be used to upgrade image-only models to state-of-the-art video ones, sometimes outperforming models natively designed for video prediction. We demonstrate this on video depth prediction and video colorization, where models augmented with the Tracktention Layer exhibit significantly improved temporal consistency compared to baselines.