MilliVid : Latents hiérarchiques pour la cohérence à longue portée dans la génération de vidéos

Résumé

Les modèles génératifs vidéo sont devenus de plus en plus puissants, mais la cohérence à longue portée reste difficile à atteindre, car même quelques dizaines d’images nécessitent des longueurs de séquence de transformeurs irréalistes. Nous montrons que ce problème peut être atténué en générant des vidéos à l’aide d’un déploiement du grossier au fin dans un espace de jetons multi-échelle. Notre approche est simple : tout d’abord, nous pré-entraînons un auto-encodeur qui compresse chaque image en une hiérarchie de jetons, avec des niveaux allant de la résolution latente typique à seulement une poignée de jetons par image. Les niveaux les plus grossiers capturent les informations les plus importantes, telles que la disposition de la scène et la sémantique, tandis que les niveaux plus fins ajoutent l’apparence et la texture haute fréquence. Ensuite, nous entraînons un modèle de diffusion vidéo à générer ces jetons en utilisant un déploiement du grossier au fin. En contrôlant soigneusement le niveau de détail auquel les images sont générées et utilisées comme contexte lors de chaque étape de déploiement, nous parvenons à préserver la cohérence à longue portée en géométrie et la permanence des objets, tout en dépensant moins de calcul pour la cohérence à longue portée des détails moins pertinents sur le plan perceptif. Nous validons cette approche à l’aide d’un ensemble de données personnalisé de longues vidéos Minecraft, où elle produit des déploiements nettement plus cohérents par rapport aux méthodes de référence existantes.

English

Video generative models have become increasingly powerful, but long-range consistency remains challenging to achieve because even a few dozen frames require impractically long transformer sequence lengths. We show that this issue can be mitigated by generating video using coarse-to-fine rollout within a multi-scale token space. Our approach is simple: first, we pre-train an autoencoder that compresses each frame into a hierarchy of tokens, with levels ranging from the typical latent resolution to only a handful of tokens per frame. The coarsest levels capture the most consequential information, such as scene layout and semantics, while finer levels add high-frequency appearance and texture. Then, we train a video diffusion model to generate these tokens using coarse-to-fine rollout. By carefully controlling the level of detail at which frames are generated and used as context during each rollout step, we are able to preserve long-range consistency in geometry and object permanence while spending less compute on the long-range consistency of less perceptually relevant details. We validate this approach using a custom dataset of long Minecraft videos, where it produces substantially more consistent rollouts compared to existing baselines.