Prompting Puntual: Seguimiento Contrafáctico con Modelos de Difusión de Video

Point Prompting: Counterfactual Tracking with Video Diffusion Models

October 13, 2025

Autores: Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

cs.AI

Resumen

Los rastreadores y los generadores de video resuelven problemas estrechamente relacionados: los primeros analizan el movimiento, mientras que los segundos lo sintetizan. Demostramos que esta conexión permite que los modelos de difusión de video preentrenados realicen seguimiento de puntos en modo zero-shot simplemente indicándoles que marquen visualmente los puntos a medida que se mueven en el tiempo. Colocamos un marcador de color distintivo en el punto de consulta y luego regeneramos el resto del video a partir de un nivel intermedio de ruido. Esto propaga el marcador a través de los fotogramas, trazando la trayectoria del punto. Para asegurar que el marcador permanezca visible en esta generación contrafactual, a pesar de que tales marcadores son poco probables en videos naturales, utilizamos el fotograma inicial sin editar como un prompt negativo. A través de experimentos con múltiples modelos de difusión de video condicionados por imágenes, encontramos que estas pistas "emergentes" superan a las de métodos zero-shot previos y persisten a través de oclusiones, logrando a menudo un rendimiento competitivo con modelos especializados de auto-supervisión.

English

Trackers and video generators solve closely related problems: the former analyze motion, while the latter synthesize it. We show that this connection enables pretrained video diffusion models to perform zero-shot point tracking by simply prompting them to visually mark points as they move over time. We place a distinctively colored marker at the query point, then regenerate the rest of the video from an intermediate noise level. This propagates the marker across frames, tracing the point's trajectory. To ensure that the marker remains visible in this counterfactual generation, despite such markers being unlikely in natural videos, we use the unedited initial frame as a negative prompt. Through experiments with multiple image-conditioned video diffusion models, we find that these "emergent" tracks outperform those of prior zero-shot methods and persist through occlusions, often obtaining performance that is competitive with specialized self-supervised models.