CoTracker: Es Mejor Rastrear Juntos

CoTracker: It is Better to Track Together

July 14, 2023

Autores: Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova, Andrea Vedaldi, Christian Rupprecht

cs.AI

Resumen

Los métodos para la predicción de movimiento en video estiman conjuntamente el movimiento instantáneo de todos los puntos en un fotograma dado utilizando flujo óptico o rastrean de manera independiente el movimiento de puntos individuales a lo largo del video. Esto último es cierto incluso para métodos avanzados de aprendizaje profundo que pueden rastrear puntos a través de oclusiones. Rastrear puntos de forma individual ignora la fuerte correlación que puede existir entre ellos, por ejemplo, porque pertenecen al mismo objeto físico, lo que potencialmente perjudica el rendimiento. En este artículo, proponemos CoTracker, una arquitectura que rastrea conjuntamente múltiples puntos a lo largo de un video completo. Esta arquitectura combina varias ideas de la literatura sobre flujo óptico y rastreo en un diseño nuevo, flexible y potente. Se basa en una red transformadora que modela la correlación de diferentes puntos en el tiempo mediante capas de atención especializadas. El transformador actualiza iterativamente una estimación de varias trayectorias. Puede aplicarse de manera deslizante a videos muy largos, para los cuales diseñamos un bucle de entrenamiento desenrollado. Puede rastrear desde uno hasta varios puntos de manera conjunta y permite agregar nuevos puntos para rastrear en cualquier momento. El resultado es un algoritmo de rastreo flexible y potente que supera a los métodos más avanzados en casi todos los benchmarks.

English

Methods for video motion prediction either estimate jointly the instantaneous motion of all points in a given video frame using optical flow or independently track the motion of individual points throughout the video. The latter is true even for powerful deep-learning methods that can track points through occlusions. Tracking points individually ignores the strong correlation that can exist between the points, for instance, because they belong to the same physical object, potentially harming performance. In this paper, we thus propose CoTracker, an architecture that jointly tracks multiple points throughout an entire video. This architecture combines several ideas from the optical flow and tracking literature in a new, flexible and powerful design. It is based on a transformer network that models the correlation of different points in time via specialised attention layers. The transformer iteratively updates an estimate of several trajectories. It can be applied in a sliding-window manner to very long videos, for which we engineer an unrolled training loop. It can track from one to several points jointly and supports adding new points to track at any time. The result is a flexible and powerful tracking algorithm that outperforms state-of-the-art methods in almost all benchmarks.