MilliVid: Latentes Jerárquicos para Consistencia a Largo Plazo en la Generación de Video

Resumen

Los modelos generativos de video se han vuelto cada vez más poderosos, pero la consistencia a largo plazo sigue siendo difícil de alcanzar porque incluso unas pocas docenas de fotogramas requieren longitudes de secuencia del transformer que son impracticablemente largas. Demostramos que este problema puede mitigarse generando video mediante un despliegue de grueso a fino dentro de un espacio de tokens multiescala. Nuestro enfoque es simple: primero, preentrenamos un autoencoder que comprime cada fotograma en una jerarquía de tokens, con niveles que van desde la resolución latente típica hasta solo un puñado de tokens por fotograma. Los niveles más gruesos capturan la información más relevante, como la disposición de la escena y la semántica, mientras que los niveles más finos añaden apariencia y textura de alta frecuencia. Luego, entrenamos un modelo de difusión de video para generar estos tokens utilizando un despliegue de grueso a fino. Al controlar cuidadosamente el nivel de detalle con el que se generan los fotogramas y se utilizan como contexto durante cada paso del despliegue, podemos preservar la consistencia a largo plazo en la geometría y la permanencia de objetos, mientras dedicamos menos cómputo a la consistencia a largo plazo de detalles perceptuales menos relevantes. Validamos este enfoque utilizando un conjunto de datos personalizado de videos largos de Minecraft, donde produce despliegues sustancialmente más consistentes en comparación con las líneas base existentes.

English

Video generative models have become increasingly powerful, but long-range consistency remains challenging to achieve because even a few dozen frames require impractically long transformer sequence lengths. We show that this issue can be mitigated by generating video using coarse-to-fine rollout within a multi-scale token space. Our approach is simple: first, we pre-train an autoencoder that compresses each frame into a hierarchy of tokens, with levels ranging from the typical latent resolution to only a handful of tokens per frame. The coarsest levels capture the most consequential information, such as scene layout and semantics, while finer levels add high-frequency appearance and texture. Then, we train a video diffusion model to generate these tokens using coarse-to-fine rollout. By carefully controlling the level of detail at which frames are generated and used as context during each rollout step, we are able to preserve long-range consistency in geometry and object permanence while spending less compute on the long-range consistency of less perceptually relevant details. We validate this approach using a custom dataset of long Minecraft videos, where it produces substantially more consistent rollouts compared to existing baselines.