CoTracker: Gemeinsames Tracking ist besser

CoTracker: It is Better to Track Together

July 14, 2023

Autoren: Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova, Andrea Vedaldi, Christian Rupprecht

cs.AI

Zusammenfassung

Methoden zur Vorhersage von Videobewegungen schätzen entweder die momentane Bewegung aller Punkte in einem gegebenen Videobild gemeinsam mithilfe von optischem Fluss oder verfolgen die Bewegung einzelner Punkte unabhängig voneinander über das gesamte Video. Letzteres gilt sogar für leistungsstarke Deep-Learning-Methoden, die Punkte durch Verdeckungen hindurch verfolgen können. Das individuelle Verfolgen von Punkten ignoriert die starke Korrelation, die zwischen den Punkten bestehen kann, beispielsweise weil sie zum selben physischen Objekt gehören, was die Leistung potenziell beeinträchtigt. In diesem Artikel schlagen wir daher CoTracker vor, eine Architektur, die mehrere Punkte gemeinsam über ein gesamtes Video hinweg verfolgt. Diese Architektur kombiniert mehrere Ideen aus der Literatur zu optischem Fluss und Tracking in einem neuen, flexiblen und leistungsstarken Design. Sie basiert auf einem Transformer-Netzwerk, das die Korrelation verschiedener Punkte über spezialisierte Attention-Layer modelliert. Der Transformer aktualisiert iterativ eine Schätzung mehrerer Trajektorien. Er kann in einem gleitenden Fenster auf sehr lange Videos angewendet werden, für die wir eine entrollte Trainingsschleife entwickeln. Er kann von einem bis zu mehreren Punkten gemeinsam verfolgen und unterstützt das Hinzufügen neuer zu verfolgender Punkte zu jedem Zeitpunkt. Das Ergebnis ist ein flexibler und leistungsstarker Tracking-Algorithmus, der in fast allen Benchmarks state-of-the-art-Methoden übertrifft.

English

Methods for video motion prediction either estimate jointly the instantaneous motion of all points in a given video frame using optical flow or independently track the motion of individual points throughout the video. The latter is true even for powerful deep-learning methods that can track points through occlusions. Tracking points individually ignores the strong correlation that can exist between the points, for instance, because they belong to the same physical object, potentially harming performance. In this paper, we thus propose CoTracker, an architecture that jointly tracks multiple points throughout an entire video. This architecture combines several ideas from the optical flow and tracking literature in a new, flexible and powerful design. It is based on a transformer network that models the correlation of different points in time via specialised attention layers. The transformer iteratively updates an estimate of several trajectories. It can be applied in a sliding-window manner to very long videos, for which we engineer an unrolled training loop. It can track from one to several points jointly and supports adding new points to track at any time. The result is a flexible and powerful tracking algorithm that outperforms state-of-the-art methods in almost all benchmarks.