Prompting Puntuale: Monitoraggio Controfattuale con Modelli di Diffusione Video

Point Prompting: Counterfactual Tracking with Video Diffusion Models

October 13, 2025

Autori: Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

cs.AI

Abstract

I tracker e i generatori di video risolvono problemi strettamente correlati: i primi analizzano il movimento, mentre i secondi lo sintetizzano. Dimostriamo che questa connessione consente ai modelli di diffusione video pre-addestrati di eseguire il tracciamento di punti in modalità zero-shot semplicemente istruendoli a marcare visivamente i punti mentre si spostano nel tempo. Posizioniamo un marcatore di colore distintivo nel punto di query, quindi rigeneriamo il resto del video partendo da un livello intermedio di rumore. Questo propaga il marcatore attraverso i fotogrammi, tracciando la traiettoria del punto. Per garantire che il marcatore rimanga visibile in questa generazione controfattuale, nonostante tali marcatori siano improbabili nei video naturali, utilizziamo il fotogramma iniziale non modificato come prompt negativo. Attraverso esperimenti con diversi modelli di diffusione video condizionati da immagini, scopriamo che queste tracce "emergenti" superano quelle dei metodi zero-shot precedenti e persistono attraverso le occlusioni, ottenendo spesso prestazioni competitive con modelli specializzati auto-supervisionati.

English

Trackers and video generators solve closely related problems: the former analyze motion, while the latter synthesize it. We show that this connection enables pretrained video diffusion models to perform zero-shot point tracking by simply prompting them to visually mark points as they move over time. We place a distinctively colored marker at the query point, then regenerate the rest of the video from an intermediate noise level. This propagates the marker across frames, tracing the point's trajectory. To ensure that the marker remains visible in this counterfactual generation, despite such markers being unlikely in natural videos, we use the unedited initial frame as a negative prompt. Through experiments with multiple image-conditioned video diffusion models, we find that these "emergent" tracks outperform those of prior zero-shot methods and persist through occlusions, often obtaining performance that is competitive with specialized self-supervised models.