Track4Gen: Ensinar Modelos de Difusão de Vídeo a Rastrear Pontos Melhora a Geração de Vídeo

Track4Gen: Teaching Video Diffusion Models to Track Points Improves Video Generation

December 8, 2024

Autores: Hyeonho Jeong, Chun-Hao Paul Huang, Jong Chul Ye, Niloy Mitra, Duygu Ceylan

cs.AI

Resumo

Embora os geradores de vídeo fundamentais recentes produzam saídas visualmente ricas, ainda enfrentam dificuldades com o desvio de aparência, onde objetos degradam gradualmente ou mudam de forma inconsistente entre os quadros, quebrando a coerência visual. Nossa hipótese é que isso ocorre porque não há supervisão explícita em termos de rastreamento espacial no nível de características. Propomos o Track4Gen, um gerador de vídeo espacialmente consciente que combina a perda de difusão de vídeo com o rastreamento de pontos entre os quadros, fornecendo uma supervisão espacial aprimorada nas características de difusão. O Track4Gen funde as tarefas de geração de vídeo e rastreamento de pontos em uma única rede, fazendo alterações mínimas nas arquiteturas de geração de vídeo existentes. Usando a Difusão de Vídeo Estável como base, o Track4Gen demonstra que é possível unificar a geração de vídeo e o rastreamento de pontos, que geralmente são tratados como tarefas separadas. Nossas extensas avaliações mostram que o Track4Gen reduz efetivamente o desvio de aparência, resultando em uma geração de vídeo temporalmente estável e visualmente coerente. Página do projeto: hyeonho99.github.io/track4gen

English

While recent foundational video generators produce visually rich output, they still struggle with appearance drift, where objects gradually degrade or change inconsistently across frames, breaking visual coherence. We hypothesize that this is because there is no explicit supervision in terms of spatial tracking at the feature level. We propose Track4Gen, a spatially aware video generator that combines video diffusion loss with point tracking across frames, providing enhanced spatial supervision on the diffusion features. Track4Gen merges the video generation and point tracking tasks into a single network by making minimal changes to existing video generation architectures. Using Stable Video Diffusion as a backbone, Track4Gen demonstrates that it is possible to unify video generation and point tracking, which are typically handled as separate tasks. Our extensive evaluations show that Track4Gen effectively reduces appearance drift, resulting in temporally stable and visually coherent video generation. Project page: hyeonho99.github.io/track4gen