Track4Gen : Enseigner aux modèles de diffusion vidéo à suivre les points améliore la génération vidéo.

Track4Gen: Teaching Video Diffusion Models to Track Points Improves Video Generation

December 8, 2024

Auteurs: Hyeonho Jeong, Chun-Hao Paul Huang, Jong Chul Ye, Niloy Mitra, Duygu Ceylan

cs.AI

Résumé

Alors que les générateurs vidéo fondamentaux récents produisent des sorties visuellement riches, ils rencontrent toujours des problèmes de dérive d'apparence, où les objets se dégradent progressivement ou changent de manière incohérente à travers les images, rompant la cohérence visuelle. Nous émettons l'hypothèse que cela est dû à l'absence de supervision explicite en termes de suivi spatial au niveau des caractéristiques. Nous proposons Track4Gen, un générateur vidéo conscient de l'espace qui combine la perte de diffusion vidéo avec le suivi de points à travers les images, offrant une supervision spatiale améliorée sur les caractéristiques de diffusion. Track4Gen fusionne la génération vidéo et les tâches de suivi de points dans un seul réseau en apportant des modifications minimales aux architectures de génération vidéo existantes. En utilisant la Diffusion Vidéo Stable comme base, Track4Gen démontre qu'il est possible d'unifier la génération vidéo et le suivi de points, qui sont généralement traités comme des tâches distinctes. Nos évaluations approfondies montrent que Track4Gen réduit efficacement la dérive d'apparence, aboutissant à une génération vidéo temporellement stable et visuellement cohérente. Page du projet : hyeonho99.github.io/track4gen

English

While recent foundational video generators produce visually rich output, they still struggle with appearance drift, where objects gradually degrade or change inconsistently across frames, breaking visual coherence. We hypothesize that this is because there is no explicit supervision in terms of spatial tracking at the feature level. We propose Track4Gen, a spatially aware video generator that combines video diffusion loss with point tracking across frames, providing enhanced spatial supervision on the diffusion features. Track4Gen merges the video generation and point tracking tasks into a single network by making minimal changes to existing video generation architectures. Using Stable Video Diffusion as a backbone, Track4Gen demonstrates that it is possible to unify video generation and point tracking, which are typically handled as separate tasks. Our extensive evaluations show that Track4Gen effectively reduces appearance drift, resulting in temporally stable and visually coherent video generation. Project page: hyeonho99.github.io/track4gen