ProTracker : Intégration Probabiliste pour un Suivi Précis et Robuste de Points

ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking

January 6, 2025

Auteurs: Tingyang Zhang, Chen Wang, Zhiyang Dou, Qingzhe Gao, Jiahui Lei, Baoquan Chen, Lingjie Liu

cs.AI

Résumé

Dans cet article, nous proposons ProTracker, un nouveau cadre pour un suivi dense à long terme robuste et précis de points arbitraires dans des vidéos. L'idée clé de notre méthode est d'incorporer une intégration probabiliste pour affiner plusieurs prédictions à la fois à partir du flux optique et des caractéristiques sémantiques pour un suivi robuste à court et long terme. Plus précisément, nous intégrons les estimations du flux optique de manière probabiliste, produisant des trajectoires fluides et précises en maximisant la vraisemblance de chaque prédiction. Pour relocaliser efficacement des points difficiles qui disparaissent et réapparaissent en raison d'occultations, nous incorporons en outre une correspondance de caractéristiques à long terme dans nos prédictions de flux pour une génération de trajectoires continue. Des expériences approfondies montrent que ProTracker atteint des performances de pointe parmi les approches non supervisées et auto-supervisées, et surpasse même les méthodes supervisées sur plusieurs benchmarks. Notre code et notre modèle seront publiquement disponibles dès la publication.

English

In this paper, we propose ProTracker, a novel framework for robust and accurate long-term dense tracking of arbitrary points in videos. The key idea of our method is incorporating probabilistic integration to refine multiple predictions from both optical flow and semantic features for robust short-term and long-term tracking. Specifically, we integrate optical flow estimations in a probabilistic manner, producing smooth and accurate trajectories by maximizing the likelihood of each prediction. To effectively re-localize challenging points that disappear and reappear due to occlusion, we further incorporate long-term feature correspondence into our flow predictions for continuous trajectory generation. Extensive experiments show that ProTracker achieves the state-of-the-art performance among unsupervised and self-supervised approaches, and even outperforms supervised methods on several benchmarks. Our code and model will be publicly available upon publication.