Точечное промптинг: Контрфактическое отслеживание с использованием моделей диффузии видео

Point Prompting: Counterfactual Tracking with Video Diffusion Models

October 13, 2025

Авторы: Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

cs.AI

Аннотация

Трекеры и генераторы видео решают тесно связанные задачи: первые анализируют движение, а вторые синтезируют его. Мы показываем, что эта связь позволяет предобученным моделям диффузии видео выполнять трекинг точек "с нуля", просто запрашивая у них визуальное обозначение точек по мере их перемещения во времени. Мы размещаем маркер с уникальным цветом на искомой точке, а затем воссоздаем остальную часть видео, начиная с промежуточного уровня шума. Это распространяет маркер по кадрам, отслеживая траекторию точки. Чтобы гарантировать, что маркер остается видимым в этой контрфактуальной генерации, несмотря на маловероятность таких маркеров в естественных видео, мы используем нередактированный начальный кадр в качестве негативного запроса. Эксперименты с несколькими моделями диффузии видео, основанными на изображениях, показывают, что эти "возникающие" треки превосходят результаты предыдущих методов "с нуля" и сохраняются при окклюзиях, часто достигая производительности, сопоставимой со специализированными моделями с самоконтролем.

English

Trackers and video generators solve closely related problems: the former analyze motion, while the latter synthesize it. We show that this connection enables pretrained video diffusion models to perform zero-shot point tracking by simply prompting them to visually mark points as they move over time. We place a distinctively colored marker at the query point, then regenerate the rest of the video from an intermediate noise level. This propagates the marker across frames, tracing the point's trajectory. To ensure that the marker remains visible in this counterfactual generation, despite such markers being unlikely in natural videos, we use the unedited initial frame as a negative prompt. Through experiments with multiple image-conditioned video diffusion models, we find that these "emergent" tracks outperform those of prior zero-shot methods and persist through occlusions, often obtaining performance that is competitive with specialized self-supervised models.