Prompting Pontual: Rastreamento Contrafactual com Modelos de Difusão de Vídeo

Point Prompting: Counterfactual Tracking with Video Diffusion Models

October 13, 2025

Autores: Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

cs.AI

Resumo

Rastreadores e geradores de vídeo resolvem problemas intimamente relacionados: os primeiros analisam o movimento, enquanto os últimos o sintetizam. Mostramos que essa conexão permite que modelos de difusão de vídeo pré-treinados realizem rastreamento de pontos zero-shot simplesmente solicitando que marquem visualmente os pontos à medida que se movem ao longo do tempo. Colocamos um marcador de cor distinta no ponto de consulta e, em seguida, regeneramos o restante do vídeo a partir de um nível intermediário de ruído. Isso propaga o marcador entre os quadros, traçando a trajetória do ponto. Para garantir que o marcador permaneça visível nessa geração contrafactual, apesar de tais marcadores serem improváveis em vídeos naturais, usamos o quadro inicial não editado como um prompt negativo. Por meio de experimentos com múltiplos modelos de difusão de vídeo condicionados por imagem, descobrimos que esses rastros "emergentes" superam os de métodos zero-shot anteriores e persistem através de oclusões, muitas vezes obtendo desempenho competitivo com modelos especializados e auto-supervisionados.

English

Trackers and video generators solve closely related problems: the former analyze motion, while the latter synthesize it. We show that this connection enables pretrained video diffusion models to perform zero-shot point tracking by simply prompting them to visually mark points as they move over time. We place a distinctively colored marker at the query point, then regenerate the rest of the video from an intermediate noise level. This propagates the marker across frames, tracing the point's trajectory. To ensure that the marker remains visible in this counterfactual generation, despite such markers being unlikely in natural videos, we use the unedited initial frame as a negative prompt. Through experiments with multiple image-conditioned video diffusion models, we find that these "emergent" tracks outperform those of prior zero-shot methods and persist through occlusions, often obtaining performance that is competitive with specialized self-supervised models.