Track4Gen: Das Lehren von Video-Diffusionsmodellen zur Verfolgung von Punkten verbessert die Videogenerierung.

Track4Gen: Teaching Video Diffusion Models to Track Points Improves Video Generation

December 8, 2024

Autoren: Hyeonho Jeong, Chun-Hao Paul Huang, Jong Chul Ye, Niloy Mitra, Duygu Ceylan

cs.AI

Zusammenfassung

Obwohl aktuelle grundlegende Videogeneratoren visuell ansprechende Ergebnisse liefern, haben sie immer noch Probleme mit Erscheinungsdrift, bei der Objekte allmählich abgebaut oder inkonsistent über Frames hinweg verändert werden, was die visuelle Kohärenz beeinträchtigt. Wir vermuten, dass dies darauf zurückzuführen ist, dass es keine explizite Überwachung in Bezug auf die räumliche Verfolgung auf der Merkmalsebene gibt. Wir schlagen Track4Gen vor, einen räumlich bewussten Videogenerator, der den Videodiffusionsverlust mit der Punktverfolgung über Frames hinweg kombiniert und so eine verbesserte räumliche Überwachung der Diffusionsmerkmale bietet. Track4Gen vereint die Videoerzeugungs- und Punktverfolgungsaufgaben in einem einzigen Netzwerk, indem minimale Änderungen an bestehenden Videoerzeugungsarchitekturen vorgenommen werden. Unter Verwendung von Stable Video Diffusion als Grundlage zeigt Track4Gen, dass es möglich ist, Videoerzeugung und Punktverfolgung zu vereinen, die normalerweise als separate Aufgaben behandelt werden. Unsere umfangreichen Bewertungen zeigen, dass Track4Gen Erscheinungsdrift effektiv reduziert, was zu zeitlich stabilen und visuell kohärenten Videogenerierungen führt. Projektseite: hyeonho99.github.io/track4gen

English

While recent foundational video generators produce visually rich output, they still struggle with appearance drift, where objects gradually degrade or change inconsistently across frames, breaking visual coherence. We hypothesize that this is because there is no explicit supervision in terms of spatial tracking at the feature level. We propose Track4Gen, a spatially aware video generator that combines video diffusion loss with point tracking across frames, providing enhanced spatial supervision on the diffusion features. Track4Gen merges the video generation and point tracking tasks into a single network by making minimal changes to existing video generation architectures. Using Stable Video Diffusion as a backbone, Track4Gen demonstrates that it is possible to unify video generation and point tracking, which are typically handled as separate tasks. Our extensive evaluations show that Track4Gen effectively reduces appearance drift, resulting in temporally stable and visually coherent video generation. Project page: hyeonho99.github.io/track4gen