Point Prompting: Contrafeit Tracking met Video Diffusiemodellen

Point Prompting: Counterfactual Tracking with Video Diffusion Models

October 13, 2025

Auteurs: Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

cs.AI

Samenvatting

Trackers en videogeneratoren lossen nauw verwante problemen op: de eerste analyseren beweging, terwijl de laatste deze synthetiseren. We tonen aan dat deze verbinding het mogelijk maakt om vooraf getrainde videodiffusiemodellen zero-shot punt-tracking te laten uitvoeren door ze simpelweg te instrueren om punten visueel te markeren terwijl ze in de tijd bewegen. We plaatsen een duidelijk gekleurde markering op het querypunt en genereren vervolgens de rest van de video opnieuw vanaf een tussenliggend ruisniveau. Hierdoor wordt de markering over frames heen verspreid, waardoor het traject van het punt wordt gevolgd. Om ervoor te zorgen dat de markering zichtbaar blijft in deze tegenfeitelijke generatie, ondanks het feit dat dergelijke markeringen onwaarschijnlijk zijn in natuurlijke video's, gebruiken we het onbewerkte initiële frame als een negatieve prompt. Door experimenten met meerdere beeld-gestuurde videodiffusiemodellen, ontdekken we dat deze "emergerende" tracks beter presteren dan die van eerdere zero-shot methoden en door occlusies heen standhouden, waarbij ze vaak prestaties behalen die competitief zijn met gespecialiseerde zelf-supervisie modellen.

English

Trackers and video generators solve closely related problems: the former analyze motion, while the latter synthesize it. We show that this connection enables pretrained video diffusion models to perform zero-shot point tracking by simply prompting them to visually mark points as they move over time. We place a distinctively colored marker at the query point, then regenerate the rest of the video from an intermediate noise level. This propagates the marker across frames, tracing the point's trajectory. To ensure that the marker remains visible in this counterfactual generation, despite such markers being unlikely in natural videos, we use the unedited initial frame as a negative prompt. Through experiments with multiple image-conditioned video diffusion models, we find that these "emergent" tracks outperform those of prior zero-shot methods and persist through occlusions, often obtaining performance that is competitive with specialized self-supervised models.