ProTracker: Probabilistische Integration für robustes und präzises Punkt-Tracking

ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking

January 6, 2025

Autoren: Tingyang Zhang, Chen Wang, Zhiyang Dou, Qingzhe Gao, Jiahui Lei, Baoquan Chen, Lingjie Liu

cs.AI

Zusammenfassung

In diesem Paper schlagen wir ProTracker vor, ein neuartiges Framework für robustes und präzises Langzeit-Tracking dichter Punkte in Videos. Die Hauptidee unserer Methode besteht darin, probabilistische Integration zu nutzen, um mehrere Vorhersagen aus optischem Fluss und semantischen Merkmalen zur robusten Verfolgung im Kurz- und Langzeitbereich zu verfeinern. Konkret integrieren wir optische Flussabschätzungen auf probabilistische Weise, um durch Maximierung der Wahrscheinlichkeit jeder Vorhersage gleichmäßige und präzise Trajektorien zu erzeugen. Um herausfordernde Punkte effektiv neu zu lokalisieren, die aufgrund von Okklusion verschwinden und wieder auftauchen, integrieren wir zudem langfristige Merkmalskorrespondenz in unsere Flussvorhersagen für kontinuierliche Trajektoriengenerierung. Umfangreiche Experimente zeigen, dass ProTracker die modernste Leistung unter unüberwachten und selbstüberwachten Ansätzen erreicht und sogar überwachte Methoden auf mehreren Benchmarks übertrifft. Unser Code und Modell werden nach der Veröffentlichung öffentlich zugänglich sein.

English

In this paper, we propose ProTracker, a novel framework for robust and accurate long-term dense tracking of arbitrary points in videos. The key idea of our method is incorporating probabilistic integration to refine multiple predictions from both optical flow and semantic features for robust short-term and long-term tracking. Specifically, we integrate optical flow estimations in a probabilistic manner, producing smooth and accurate trajectories by maximizing the likelihood of each prediction. To effectively re-localize challenging points that disappear and reappear due to occlusion, we further incorporate long-term feature correspondence into our flow predictions for continuous trajectory generation. Extensive experiments show that ProTracker achieves the state-of-the-art performance among unsupervised and self-supervised approaches, and even outperforms supervised methods on several benchmarks. Our code and model will be publicly available upon publication.