Mengsel van Contexten voor Lange Videogeneratie

Samenvatting

Het genereren van lange video's is in wezen een probleem van langetermijngeheugen: modellen moeten belangrijke gebeurtenissen over een lange periode behouden en ophalen zonder in te storten of af te dwalen. Het schalen van diffusietransformers voor het genereren van video's met een lange context wordt echter fundamenteel beperkt door de kwadratische kosten van zelf-attentie, wat geheugen en berekening onhandelbaar maakt en moeilijk te optimaliseren voor lange sequenties. Wij herformuleren het genereren van video's met een lange context als een interne informatie-ophaaltaak en stellen een eenvoudige, leerbare sparse attention routing module voor, Mixture of Contexts (MoC), als een effectieve motor voor het ophalen van langetermijngeheugen. In MoC selecteert elke query dynamisch een paar informatieve chunks plus verplichte ankers (bijschrift, lokale vensters) om aandacht aan te besteden, met causale routing die lusafsluitingen voorkomt. Naarmate we de data schalen en de routing geleidelijk verspreiden, wijst het model rekenkracht toe aan belangrijke geschiedenis, waardoor identiteiten, acties en scènes over minuten aan inhoud behouden blijven. Efficiëntie volgt als een bijproduct van het ophalen (bijna-lineaire schaling), wat praktische training en synthese mogelijk maakt, en het ontstaan van geheugen en consistentie op de schaal van minuten.

English

Long video generation is fundamentally a long context memory problem: models must retain and retrieve salient events across a long range without collapsing or drifting. However, scaling diffusion transformers to generate long-context videos is fundamentally limited by the quadratic cost of self-attention, which makes memory and computation intractable and difficult to optimize for long sequences. We recast long-context video generation as an internal information retrieval task and propose a simple, learnable sparse attention routing module, Mixture of Contexts (MoC), as an effective long-term memory retrieval engine. In MoC, each query dynamically selects a few informative chunks plus mandatory anchors (caption, local windows) to attend to, with causal routing that prevents loop closures. As we scale the data and gradually sparsify the routing, the model allocates compute to salient history, preserving identities, actions, and scenes over minutes of content. Efficiency follows as a byproduct of retrieval (near-linear scaling), which enables practical training and synthesis, and the emergence of memory and consistency at the scale of minutes.

Mengsel van Contexten voor Lange Videogeneratie

Mixture of Contexts for Long Video Generation

Samenvatting

Support