Einminütige Videogenerierung mit Test-Time-Training

One-Minute Video Generation with Test-Time Training

April 7, 2025

Autoren: Karan Dalal, Daniel Koceja, Gashon Hussein, Jiarui Xu, Yue Zhao, Youjin Song, Shihao Han, Ka Chun Cheung, Jan Kautz, Carlos Guestrin, Tatsunori Hashimoto, Sanmi Koyejo, Yejin Choi, Yu Sun, Xiaolong Wang

cs.AI

Zusammenfassung

Transformer haben heute noch Schwierigkeiten, einminütige Videos zu generieren, da Self-Attention-Schichten für lange Kontexte ineffizient sind. Alternativen wie Mamba-Schichten scheitern an komplexen Mehrszenen-Geschichten, da ihre verborgenen Zustände weniger ausdrucksstark sind. Wir experimentieren mit Test-Time Training (TTT)-Schichten, deren verborgene Zustände selbst neuronale Netze sein können und somit ausdrucksstärker sind. Durch die Integration von TTT-Schichten in einen vortrainierten Transformer kann dieser einminütige Videos aus Text-Storyboards generieren. Als Proof of Concept haben wir einen Datensatz basierend auf Tom und Jerry-Cartoons erstellt. Im Vergleich zu Baseline-Methoden wie Mamba~2, Gated DeltaNet und Sliding-Window-Attention-Schichten generieren TTT-Schichten deutlich kohärentere Videos, die komplexe Geschichten erzählen, und führen mit 34 Elo-Punkten in einer menschlichen Bewertung von 100 Videos pro Methode. Obwohl vielversprechend, enthalten die Ergebnisse noch Artefakte, wahrscheinlich aufgrund der begrenzten Fähigkeiten des vortrainierten 5B-Modells. Die Effizienz unserer Implementierung kann ebenfalls verbessert werden. Wir haben aufgrund von Ressourcenbeschränkungen nur mit einminütigen Videos experimentiert, aber der Ansatz kann auf längere Videos und komplexere Geschichten erweitert werden. Beispielvideos, Code und Annotationen sind verfügbar unter: https://test-time-training.github.io/video-dit

English

Transformers today still struggle to generate one-minute videos because self-attention layers are inefficient for long context. Alternatives such as Mamba layers struggle with complex multi-scene stories because their hidden states are less expressive. We experiment with Test-Time Training (TTT) layers, whose hidden states themselves can be neural networks, therefore more expressive. Adding TTT layers into a pre-trained Transformer enables it to generate one-minute videos from text storyboards. For proof of concept, we curate a dataset based on Tom and Jerry cartoons. Compared to baselines such as Mamba~2, Gated DeltaNet, and sliding-window attention layers, TTT layers generate much more coherent videos that tell complex stories, leading by 34 Elo points in a human evaluation of 100 videos per method. Although promising, results still contain artifacts, likely due to the limited capability of the pre-trained 5B model. The efficiency of our implementation can also be improved. We have only experimented with one-minute videos due to resource constraints, but the approach can be extended to longer videos and more complex stories. Sample videos, code and annotations are available at: https://test-time-training.github.io/video-dit