Eén-minuut videogeneratie met test-time training

One-Minute Video Generation with Test-Time Training

April 7, 2025

Auteurs: Karan Dalal, Daniel Koceja, Gashon Hussein, Jiarui Xu, Yue Zhao, Youjin Song, Shihao Han, Ka Chun Cheung, Jan Kautz, Carlos Guestrin, Tatsunori Hashimoto, Sanmi Koyejo, Yejin Choi, Yu Sun, Xiaolong Wang

cs.AI

Samenvatting

Transformers hebben tegenwoordig nog steeds moeite om video's van één minuut te genereren, omdat self-attention lagen inefficiënt zijn voor lange contexten. Alternatieven zoals Mamba-lagen worstelen met complexe verhalen met meerdere scènes omdat hun verborgen toestanden minder expressief zijn. We experimenteren met Test-Time Training (TTT) lagen, waarvan de verborgen toestanden zelf neurale netwerken kunnen zijn, en dus expressiever zijn. Door TTT-lagen toe te voegen aan een vooraf getrainde Transformer, kan deze één minuut durende video's genereren op basis van tekstuele storyboards. Als proof of concept hebben we een dataset samengesteld gebaseerd op Tom en Jerry-tekenfilms. Vergeleken met baseline-methoden zoals Mamba~2, Gated DeltaNet en sliding-window attention lagen, genereren TTT-lagen veel samenhangendere video's die complexe verhalen vertellen, met een voorsprong van 34 Elo-punten in een menselijke evaluatie van 100 video's per methode. Hoewel de resultaten veelbelovend zijn, bevatten ze nog steeds artefacten, waarschijnlijk vanwege de beperkte capaciteit van het vooraf getrainde 5B-model. De efficiëntie van onze implementatie kan ook worden verbeterd. We hebben alleen geëxperimenteerd met video's van één minuut vanwege beperkte middelen, maar de aanpak kan worden uitgebreid naar langere video's en complexere verhalen. Voorbeeldvideo's, code en annotaties zijn beschikbaar op: https://test-time-training.github.io/video-dit

English

Transformers today still struggle to generate one-minute videos because self-attention layers are inefficient for long context. Alternatives such as Mamba layers struggle with complex multi-scene stories because their hidden states are less expressive. We experiment with Test-Time Training (TTT) layers, whose hidden states themselves can be neural networks, therefore more expressive. Adding TTT layers into a pre-trained Transformer enables it to generate one-minute videos from text storyboards. For proof of concept, we curate a dataset based on Tom and Jerry cartoons. Compared to baselines such as Mamba~2, Gated DeltaNet, and sliding-window attention layers, TTT layers generate much more coherent videos that tell complex stories, leading by 34 Elo points in a human evaluation of 100 videos per method. Although promising, results still contain artifacts, likely due to the limited capability of the pre-trained 5B model. The efficiency of our implementation can also be improved. We have only experimented with one-minute videos due to resource constraints, but the approach can be extended to longer videos and more complex stories. Sample videos, code and annotations are available at: https://test-time-training.github.io/video-dit