ProTracker: Integración Probabilística para un Seguimiento Preciso y Robusto de Puntos

ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking

January 6, 2025

Autores: Tingyang Zhang, Chen Wang, Zhiyang Dou, Qingzhe Gao, Jiahui Lei, Baoquan Chen, Lingjie Liu

cs.AI

Resumen

En este documento, proponemos ProTracker, un marco novedoso para el seguimiento denso a largo plazo robusto y preciso de puntos arbitrarios en videos. La idea clave de nuestro método es la incorporación de integración probabilística para refinar múltiples predicciones tanto de flujo óptico como de características semánticas para un seguimiento robusto a corto y largo plazo. Específicamente, integramos estimaciones de flujo óptico de manera probabilística, produciendo trayectorias suaves y precisas al maximizar la verosimilitud de cada predicción. Para relocalizar de manera efectiva puntos desafiantes que desaparecen y reaparecen debido a la oclusión, incorporamos además la correspondencia de características a largo plazo en nuestras predicciones de flujo para la generación continua de trayectorias. Experimentos extensos muestran que ProTracker logra un rendimiento de vanguardia entre enfoques no supervisados y auto-supervisados, e incluso supera a los métodos supervisados en varios benchmarks. Nuestro código y modelo estarán disponibles públicamente al ser publicados.

English

In this paper, we propose ProTracker, a novel framework for robust and accurate long-term dense tracking of arbitrary points in videos. The key idea of our method is incorporating probabilistic integration to refine multiple predictions from both optical flow and semantic features for robust short-term and long-term tracking. Specifically, we integrate optical flow estimations in a probabilistic manner, producing smooth and accurate trajectories by maximizing the likelihood of each prediction. To effectively re-localize challenging points that disappear and reappear due to occlusion, we further incorporate long-term feature correspondence into our flow predictions for continuous trajectory generation. Extensive experiments show that ProTracker achieves the state-of-the-art performance among unsupervised and self-supervised approaches, and even outperforms supervised methods on several benchmarks. Our code and model will be publicly available upon publication.