ProTracker: Вероятностное интегрирование для надежного и точного отслеживания точек

ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking

January 6, 2025

Авторы: Tingyang Zhang, Chen Wang, Zhiyang Dou, Qingzhe Gao, Jiahui Lei, Baoquan Chen, Lingjie Liu

cs.AI

Аннотация

В данной статье мы предлагаем ProTracker, новую концепцию для надежного и точного долгосрочного плотного отслеживания произвольных точек на видео. Основная идея нашего метода заключается в интеграции вероятностного подхода для уточнения нескольких прогнозов как на основе оптического потока, так и семантических признаков для надежного отслеживания как в короткой, так и в долгосрочной перспективе. Конкретно, мы интегрируем оценки оптического потока вероятностным образом, что позволяет создавать плавные и точные траектории путем максимизации правдоподобия каждого прогноза. Для эффективной релокализации сложных точек, которые исчезают и появляются из-за заслонения, мы также включаем долгосрочную соответственность признаков в наши прогнозы оптического потока для непрерывной генерации траекторий. Обширные эксперименты показывают, что ProTracker достигает передовых показателей среди методов без учителя и методов с автономным обучением, и даже превосходит методы с учителем на нескольких тестовых наборах данных. Наш код и модель будут общедоступны после публикации.

English

In this paper, we propose ProTracker, a novel framework for robust and accurate long-term dense tracking of arbitrary points in videos. The key idea of our method is incorporating probabilistic integration to refine multiple predictions from both optical flow and semantic features for robust short-term and long-term tracking. Specifically, we integrate optical flow estimations in a probabilistic manner, producing smooth and accurate trajectories by maximizing the likelihood of each prediction. To effectively re-localize challenging points that disappear and reappear due to occlusion, we further incorporate long-term feature correspondence into our flow predictions for continuous trajectory generation. Extensive experiments show that ProTracker achieves the state-of-the-art performance among unsupervised and self-supervised approaches, and even outperforms supervised methods on several benchmarks. Our code and model will be publicly available upon publication.