ProTracker: Probabilistische Integratie voor Robuuste en Nauwkeurige Punttracking
ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking
January 6, 2025
Auteurs: Tingyang Zhang, Chen Wang, Zhiyang Dou, Qingzhe Gao, Jiahui Lei, Baoquan Chen, Lingjie Liu
cs.AI
Samenvatting
In dit artikel stellen we ProTracker voor, een nieuw kader voor robuuste en nauwkeurige langdurige dichte tracking van willekeurige punten in video's. Het belangrijkste idee van onze methode is het opnemen van probabilistische integratie om meerdere voorspellingen van zowel optische stroming als semantische kenmerken te verfijnen voor robuuste tracking op korte en lange termijn. Specifiek integreren we optische stroom schattingen op een probabilistische manier, wat soepele en nauwkeurige trajecten oplevert door de waarschijnlijkheid van elke voorspelling te maximaliseren. Om uitdagende punten effectief opnieuw te lokaliseren die verdwijnen en weer verschijnen als gevolg van occlusie, nemen we verder lange-termijn kenmerkencorrespondentie op in onze stroomvoorspellingen voor continue trajectgeneratie. Uitgebreide experimenten tonen aan dat ProTracker de state-of-the-art prestaties behaalt onder ongesuperviseerde en zelfgesuperviseerde benaderingen, en zelfs beter presteert dan begeleide methoden op verschillende benchmarks. Onze code en model zullen openbaar beschikbaar worden gesteld bij publicatie.
English
In this paper, we propose ProTracker, a novel framework for robust and
accurate long-term dense tracking of arbitrary points in videos. The key idea
of our method is incorporating probabilistic integration to refine multiple
predictions from both optical flow and semantic features for robust short-term
and long-term tracking. Specifically, we integrate optical flow estimations in
a probabilistic manner, producing smooth and accurate trajectories by
maximizing the likelihood of each prediction. To effectively re-localize
challenging points that disappear and reappear due to occlusion, we further
incorporate long-term feature correspondence into our flow predictions for
continuous trajectory generation. Extensive experiments show that ProTracker
achieves the state-of-the-art performance among unsupervised and
self-supervised approaches, and even outperforms supervised methods on several
benchmarks. Our code and model will be publicly available upon publication.