MilliVid: Latentes Hierárquicos para Consistência de Longo Alcance na Geração de Vídeos

Resumo

Modelos generativos de vídeo tornaram-se cada vez mais poderosos, mas a consistência de longo alcance ainda é difícil de alcançar porque mesmo algumas dezenas de quadros exigem comprimentos de sequência de transformers impraticavelmente longos. Mostramos que esse problema pode ser mitigado gerando vídeo por meio de um desdobramento gradual (coarse-to-fine rollout) dentro de um espaço de tokens em múltiplas escalas. Nossa abordagem é simples: primeiro, pré-treinamos um autoencodificador que comprime cada quadro em uma hierarquia de tokens, com níveis que variam da resolução latente típica a apenas um punhado de tokens por quadro. Os níveis mais grosseiros capturam as informações mais relevantes, como layout da cena e semântica, enquanto os níveis mais finos adicionam aparência e textura de alta frequência. Em seguida, treinamos um modelo de difusão de vídeo para gerar esses tokens usando o desdobramento gradual. Ao controlar cuidadosamente o nível de detalhe com que os quadros são gerados e usados como contexto durante cada etapa do desdobramento, conseguimos preservar a consistência de longo alcance na geometria e na permanência dos objetos, ao mesmo tempo que gastamos menos poder computacional na consistência de longo alcance de detalhes perceptual menos relevantes. Validamos essa abordagem usando um conjunto de dados personalizado de vídeos longos de Minecraft, onde ela produz desdobramentos substancialmente mais consistentes em comparação com as referências existentes.

English

Video generative models have become increasingly powerful, but long-range consistency remains challenging to achieve because even a few dozen frames require impractically long transformer sequence lengths. We show that this issue can be mitigated by generating video using coarse-to-fine rollout within a multi-scale token space. Our approach is simple: first, we pre-train an autoencoder that compresses each frame into a hierarchy of tokens, with levels ranging from the typical latent resolution to only a handful of tokens per frame. The coarsest levels capture the most consequential information, such as scene layout and semantics, while finer levels add high-frequency appearance and texture. Then, we train a video diffusion model to generate these tokens using coarse-to-fine rollout. By carefully controlling the level of detail at which frames are generated and used as context during each rollout step, we are able to preserve long-range consistency in geometry and object permanence while spending less compute on the long-range consistency of less perceptually relevant details. We validate this approach using a custom dataset of long Minecraft videos, where it produces substantially more consistent rollouts compared to existing baselines.