Point Prompting : Suivi contrefactuel avec des modèles de diffusion vidéo

Point Prompting: Counterfactual Tracking with Video Diffusion Models

October 13, 2025

papers.authors: Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

cs.AI

papers.abstract

Les trackers et les générateurs de vidéos résolvent des problèmes étroitement liés : les premiers analysent le mouvement, tandis que les seconds le synthétisent. Nous montrons que cette connexion permet à des modèles de diffusion vidéo pré-entraînés d'effectuer un suivi de points en zero-shot simplement en les incitant à marquer visuellement les points au fur et à mesure de leur déplacement dans le temps. Nous plaçons un marqueur de couleur distinctive au point de requête, puis régénérons le reste de la vidéo à partir d'un niveau de bruit intermédiaire. Cela propage le marqueur à travers les images, traçant ainsi la trajectoire du point. Pour garantir que le marqueur reste visible dans cette génération contrefactuelle, malgré le fait que de tels marqueurs soient improbables dans des vidéos naturelles, nous utilisons l'image initiale non modifiée comme prompt négatif. À travers des expériences avec plusieurs modèles de diffusion vidéo conditionnés par des images, nous constatons que ces trajectoires "émergentes" surpassent celles des méthodes zero-shot précédentes et persistent à travers les occlusions, obtenant souvent des performances comparables à celles de modèles auto-supervisés spécialisés.

English

Trackers and video generators solve closely related problems: the former analyze motion, while the latter synthesize it. We show that this connection enables pretrained video diffusion models to perform zero-shot point tracking by simply prompting them to visually mark points as they move over time. We place a distinctively colored marker at the query point, then regenerate the rest of the video from an intermediate noise level. This propagates the marker across frames, tracing the point's trajectory. To ensure that the marker remains visible in this counterfactual generation, despite such markers being unlikely in natural videos, we use the unedited initial frame as a negative prompt. Through experiments with multiple image-conditioned video diffusion models, we find that these "emergent" tracks outperform those of prior zero-shot methods and persist through occlusions, often obtaining performance that is competitive with specialized self-supervised models.