Track4Gen：ビデオ拡散モデルにポイント追跡を教えることで、ビデオ生成が向上します。

要旨

最近の基礎となるビデオ生成器は視覚的に豊かな出力を生み出していますが、依然として外観のドリフトに苦しんでおり、物体がフレーム間で徐々に劣化したり一貫性のない変化を遂げることで、視覚的な一貫性が崩れてしまいます。私たちは、これは特徴レベルでの空間追跡に関する明示的な監督がないためだと仮説を立てています。私たちは、空間的に意識したビデオ生成器であるTrack4Genを提案します。これは、フレーム間でのポイント追跡とビデオ拡散損失を組み合わせ、拡散特徴に対する強化された空間的監督を提供します。Track4Genは、既存のビデオ生成アーキテクチャに最小限の変更を加えることで、ビデオ生成とポイント追跡のタスクを単一のネットワークに統合します。安定したビデオ拡散をバックボーンとして使用することで、Track4Genは、通常は別々のタスクとして処理されるビデオ生成とポイント追跡を統一することが可能であることを示しています。私たちの包括的な評価は、Track4Genが外観のドリフトを効果的に軽減し、時間的に安定し視覚的に一貫したビデオ生成を実現することを示しています。プロジェクトページ: hyeonho99.github.io/track4gen

English

While recent foundational video generators produce visually rich output, they still struggle with appearance drift, where objects gradually degrade or change inconsistently across frames, breaking visual coherence. We hypothesize that this is because there is no explicit supervision in terms of spatial tracking at the feature level. We propose Track4Gen, a spatially aware video generator that combines video diffusion loss with point tracking across frames, providing enhanced spatial supervision on the diffusion features. Track4Gen merges the video generation and point tracking tasks into a single network by making minimal changes to existing video generation architectures. Using Stable Video Diffusion as a backbone, Track4Gen demonstrates that it is possible to unify video generation and point tracking, which are typically handled as separate tasks. Our extensive evaluations show that Track4Gen effectively reduces appearance drift, resulting in temporally stable and visually coherent video generation. Project page: hyeonho99.github.io/track4gen

Track4Gen：ビデオ拡散モデルにポイント追跡を教えることで、ビデオ生成が向上します。

Track4Gen: Teaching Video Diffusion Models to Track Points Improves Video Generation

要旨

Support