Génération de vidéos d'une minute avec entraînement au moment du test

One-Minute Video Generation with Test-Time Training

April 7, 2025

Auteurs: Karan Dalal, Daniel Koceja, Gashon Hussein, Jiarui Xu, Yue Zhao, Youjin Song, Shihao Han, Ka Chun Cheung, Jan Kautz, Carlos Guestrin, Tatsunori Hashimoto, Sanmi Koyejo, Yejin Choi, Yu Sun, Xiaolong Wang

cs.AI

Résumé

Les Transformers actuels peinent encore à générer des vidéos d'une minute, car les couches d'auto-attention sont inefficaces pour les contextes longs. Des alternatives comme les couches Mamba rencontrent des difficultés avec des histoires complexes à scènes multiples, car leurs états cachés sont moins expressifs. Nous expérimentons avec des couches de Test-Time Training (TTT), dont les états cachés peuvent eux-mêmes être des réseaux de neurones, et donc plus expressifs. L'ajout de couches TTT à un Transformer pré-entraîné lui permet de générer des vidéos d'une minute à partir de storyboards textuels. Pour la preuve de concept, nous avons constitué un ensemble de données basé sur les dessins animés Tom et Jerry. Comparées aux méthodes de référence telles que Mamba~2, Gated DeltaNet et les couches d'attention à fenêtre glissante, les couches TTT génèrent des vidéos bien plus cohérentes racontant des histoires complexes, devançant de 34 points Elo dans une évaluation humaine portant sur 100 vidéos par méthode. Bien que prometteurs, les résultats contiennent encore des artefacts, probablement dus aux capacités limitées du modèle pré-entraîné de 5 milliards de paramètres. L'efficacité de notre implémentation peut également être améliorée. Nous n'avons expérimenté qu'avec des vidéos d'une minute en raison de contraintes de ressources, mais l'approche peut être étendue à des vidéos plus longues et à des histoires plus complexes. Des exemples de vidéos, le code et les annotations sont disponibles à l'adresse suivante : https://test-time-training.github.io/video-dit.

English

Transformers today still struggle to generate one-minute videos because self-attention layers are inefficient for long context. Alternatives such as Mamba layers struggle with complex multi-scene stories because their hidden states are less expressive. We experiment with Test-Time Training (TTT) layers, whose hidden states themselves can be neural networks, therefore more expressive. Adding TTT layers into a pre-trained Transformer enables it to generate one-minute videos from text storyboards. For proof of concept, we curate a dataset based on Tom and Jerry cartoons. Compared to baselines such as Mamba~2, Gated DeltaNet, and sliding-window attention layers, TTT layers generate much more coherent videos that tell complex stories, leading by 34 Elo points in a human evaluation of 100 videos per method. Although promising, results still contain artifacts, likely due to the limited capability of the pre-trained 5B model. The efficiency of our implementation can also be improved. We have only experimented with one-minute videos due to resource constraints, but the approach can be extended to longer videos and more complex stories. Sample videos, code and annotations are available at: https://test-time-training.github.io/video-dit