CoTracker: È Meglio Tracciare Insieme

CoTracker: It is Better to Track Together

July 14, 2023

Autori: Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova, Andrea Vedaldi, Christian Rupprecht

cs.AI

Abstract

I metodi per la previsione del movimento nei video stimano congiuntamente il movimento istantaneo di tutti i punti in un dato fotogramma utilizzando il flusso ottico oppure tracciano indipendentemente il movimento di singoli punti lungo l'intero video. Quest'ultimo approccio è valido anche per potenti metodi di deep learning in grado di tracciare punti attraverso occlusioni. Tracciare i punti individualmente ignora la forte correlazione che può esistere tra i punti, ad esempio perché appartengono allo stesso oggetto fisico, potenzialmente compromettendo le prestazioni. In questo articolo, proponiamo quindi CoTracker, un'architettura che traccia congiuntamente più punti lungo un intero video. Questa architettura combina diverse idee dalla letteratura sul flusso ottico e sul tracking in un design nuovo, flessibile e potente. Si basa su una rete transformer che modella la correlazione di diversi punti nel tempo tramite strati di attenzione specializzati. Il transformer aggiorna iterativamente una stima di diverse traiettorie. Può essere applicato in modalità sliding-window a video molto lunghi, per i quali abbiamo progettato un ciclo di training srotolato. Può tracciare da uno a più punti congiuntamente e supporta l'aggiunta di nuovi punti da tracciare in qualsiasi momento. Il risultato è un algoritmo di tracking flessibile e potente che supera i metodi all'avanguardia in quasi tutti i benchmark.

English

Methods for video motion prediction either estimate jointly the instantaneous motion of all points in a given video frame using optical flow or independently track the motion of individual points throughout the video. The latter is true even for powerful deep-learning methods that can track points through occlusions. Tracking points individually ignores the strong correlation that can exist between the points, for instance, because they belong to the same physical object, potentially harming performance. In this paper, we thus propose CoTracker, an architecture that jointly tracks multiple points throughout an entire video. This architecture combines several ideas from the optical flow and tracking literature in a new, flexible and powerful design. It is based on a transformer network that models the correlation of different points in time via specialised attention layers. The transformer iteratively updates an estimate of several trajectories. It can be applied in a sliding-window manner to very long videos, for which we engineer an unrolled training loop. It can track from one to several points jointly and supports adding new points to track at any time. The result is a flexible and powerful tracking algorithm that outperforms state-of-the-art methods in almost all benchmarks.