MilliVid: Hiërarchische Latenten voor Langetermijnconsistentie in Videogeneratie

Samenvatting

Videogeneratieve modellen zijn steeds krachtiger geworden, maar consistentie over lange afstanden blijft lastig te bereiken omdat zelfs een paar tientallen frames onpraktisch lange transformer-sequentielengtes vereisen. We laten zien dat dit probleem kan worden verminderd door video te genereren met behulp van grof-naar-fijn uitrollen in een multischaal-tokenruimte. Onze aanpak is eenvoudig: eerst trainen we een autoencoder die elk frame comprimeert tot een hiërarchie van tokens, met niveaus variërend van de typische latente resolutie tot slechts een handvol tokens per frame. De grofste niveaus vangen de meest cruciale informatie op, zoals scène-indeling en semantiek, terwijl fijnere niveaus hoogfrequente verschijning en textuur toevoegen. Vervolgens trainen we een videodiffusiemodel om deze tokens te genereren met grof-naar-fijn uitrollen. Door zorgvuldig het detailniveau te controleren waarop frames worden gegenereerd en als context worden gebruikt tijdens elke uitrolstap, kunnen we de consistentie over lange afstanden in geometrie en objectpermanentie behouden, terwijl we minder rekenkracht besteden aan de consistentie van minder perceptueel relevante details. We valideren deze aanpak met een aangepaste dataset van lange Minecraft-video's, waar deze aanzienlijk consistentere uitrolresultaten produceert vergeleken met bestaande basislijnen.

English

Video generative models have become increasingly powerful, but long-range consistency remains challenging to achieve because even a few dozen frames require impractically long transformer sequence lengths. We show that this issue can be mitigated by generating video using coarse-to-fine rollout within a multi-scale token space. Our approach is simple: first, we pre-train an autoencoder that compresses each frame into a hierarchy of tokens, with levels ranging from the typical latent resolution to only a handful of tokens per frame. The coarsest levels capture the most consequential information, such as scene layout and semantics, while finer levels add high-frequency appearance and texture. Then, we train a video diffusion model to generate these tokens using coarse-to-fine rollout. By carefully controlling the level of detail at which frames are generated and used as context during each rollout step, we are able to preserve long-range consistency in geometry and object permanence while spending less compute on the long-range consistency of less perceptually relevant details. We validate this approach using a custom dataset of long Minecraft videos, where it produces substantially more consistent rollouts compared to existing baselines.