ポイントプロンプティング：ビデオ拡散モデルを用いた反事実的追跡

Point Prompting: Counterfactual Tracking with Video Diffusion Models

October 13, 2025

著者: Ayush Shrivastava, Sanyam Mehta, Daniel Geng, Andrew Owens

cs.AI

要旨

トラッカーとビデオ生成器は密接に関連する問題を解決します。前者は動きを分析し、後者は動きを合成します。本論文では、この関連性を利用して、事前学習済みのビデオ拡散モデルがゼロショットポイントトラッキングを実行できることを示します。具体的には、モデルにポイントを視覚的にマークするよう促すだけで、時間の経過とともにポイントを追跡します。クエリポイントに特徴的な色のマーカーを配置し、中間ノイズレベルからビデオの残りを再生成します。これにより、マーカーがフレーム間で伝播し、ポイントの軌跡を描きます。自然なビデオではそのようなマーカーが現れにくいにもかかわらず、この反事実的生成においてマーカーが可視性を保つように、未編集の初期フレームをネガティブプロンプトとして使用します。複数の画像条件付きビデオ拡散モデルを用いた実験を通じて、これらの「創発的」なトラックが従来のゼロショット手法を上回り、オクルージョンを通じて持続し、専門的な自己教師ありモデルと競合する性能を達成することがわかりました。

English

Trackers and video generators solve closely related problems: the former analyze motion, while the latter synthesize it. We show that this connection enables pretrained video diffusion models to perform zero-shot point tracking by simply prompting them to visually mark points as they move over time. We place a distinctively colored marker at the query point, then regenerate the rest of the video from an intermediate noise level. This propagates the marker across frames, tracing the point's trajectory. To ensure that the marker remains visible in this counterfactual generation, despite such markers being unlikely in natural videos, we use the unedited initial frame as a negative prompt. Through experiments with multiple image-conditioned video diffusion models, we find that these "emergent" tracks outperform those of prior zero-shot methods and persist through occlusions, often obtaining performance that is competitive with specialized self-supervised models.