Point Prompting: Kontrafaktische Nachverfolgung mit Video-Diffusionsmodellen

Point Prompting: Counterfactual Tracking with Video Diffusion Models

October 13, 2025

papers.authors: Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

cs.AI

papers.abstract

Tracker und Video-Generatoren lösen eng verwandte Probleme: Erstere analysieren Bewegung, während Letztere sie synthetisieren. Wir zeigen, dass dieser Zusammenhang vortrainierte Video-Diffusionsmodelle in die Lage versetzt, Zero-Shot-Punkt-Tracking durchzuführen, indem sie einfach dazu aufgefordert werden, Punkte visuell zu markieren, während sie sich im Laufe der Zeit bewegen. Wir platzieren einen farblich markanten Marker am Abfragepunkt und generieren dann den Rest des Videos aus einem mittleren Rauschlevel neu. Dies verbreitet den Marker über die Frames hinweg und zeichnet die Trajektorie des Punkts nach. Um sicherzustellen, dass der Marker in dieser kontrafaktischen Generierung sichtbar bleibt, obwohl solche Marker in natürlichen Videos unwahrscheinlich sind, verwenden wir den unveränderten Anfangsrahmen als negativen Prompt. Durch Experimente mit mehreren bildbasierten Video-Diffusionsmodellen stellen wir fest, dass diese „emergenten“ Tracks die von früheren Zero-Shot-Methoden übertreffen und durch Verdeckungen hindurch bestehen bleiben, oft mit einer Leistung, die mit spezialisierten selbstüberwachten Modellen konkurrieren kann.

English

Trackers and video generators solve closely related problems: the former analyze motion, while the latter synthesize it. We show that this connection enables pretrained video diffusion models to perform zero-shot point tracking by simply prompting them to visually mark points as they move over time. We place a distinctively colored marker at the query point, then regenerate the rest of the video from an intermediate noise level. This propagates the marker across frames, tracing the point's trajectory. To ensure that the marker remains visible in this counterfactual generation, despite such markers being unlikely in natural videos, we use the unedited initial frame as a negative prompt. Through experiments with multiple image-conditioned video diffusion models, we find that these "emergent" tracks outperform those of prior zero-shot methods and persist through occlusions, often obtaining performance that is competitive with specialized self-supervised models.