Track4Gen: Enseñar a los Modelos de Difusión de Video a Rastrear Puntos Mejora la Generación de Video

Track4Gen: Teaching Video Diffusion Models to Track Points Improves Video Generation

December 8, 2024

Autores: Hyeonho Jeong, Chun-Hao Paul Huang, Jong Chul Ye, Niloy Mitra, Duygu Ceylan

cs.AI

Resumen

Si bien los generadores de video fundamentales recientes producen resultados visualmente ricos, todavía luchan con la deriva de apariencia, donde los objetos degradan gradualmente o cambian de manera inconsistente a lo largo de los fotogramas, rompiendo la coherencia visual. Hipotetizamos que esto se debe a la falta de supervisión explícita en términos de seguimiento espacial a nivel de características. Proponemos Track4Gen, un generador de video con conciencia espacial que combina la pérdida de difusión de video con el seguimiento de puntos a lo largo de los fotogramas, proporcionando una supervisión espacial mejorada en las características de difusión. Track4Gen fusiona las tareas de generación de video y seguimiento de puntos en una sola red al realizar cambios mínimos en las arquitecturas existentes de generación de video. Utilizando la Difusión de Video Estable como base, Track4Gen demuestra que es posible unificar la generación de video y el seguimiento de puntos, que típicamente se manejan como tareas separadas. Nuestras extensas evaluaciones muestran que Track4Gen reduce efectivamente la deriva de apariencia, lo que resulta en una generación de video temporalmente estable y visualmente coherente. Página del proyecto: hyeonho99.github.io/track4gen

English

While recent foundational video generators produce visually rich output, they still struggle with appearance drift, where objects gradually degrade or change inconsistently across frames, breaking visual coherence. We hypothesize that this is because there is no explicit supervision in terms of spatial tracking at the feature level. We propose Track4Gen, a spatially aware video generator that combines video diffusion loss with point tracking across frames, providing enhanced spatial supervision on the diffusion features. Track4Gen merges the video generation and point tracking tasks into a single network by making minimal changes to existing video generation architectures. Using Stable Video Diffusion as a backbone, Track4Gen demonstrates that it is possible to unify video generation and point tracking, which are typically handled as separate tasks. Our extensive evaluations show that Track4Gen effectively reduces appearance drift, resulting in temporally stable and visually coherent video generation. Project page: hyeonho99.github.io/track4gen