Geração de Vídeos de Um Minuto com Treinamento Durante o Teste

One-Minute Video Generation with Test-Time Training

April 7, 2025

Autores: Karan Dalal, Daniel Koceja, Gashon Hussein, Jiarui Xu, Yue Zhao, Youjin Song, Shihao Han, Ka Chun Cheung, Jan Kautz, Carlos Guestrin, Tatsunori Hashimoto, Sanmi Koyejo, Yejin Choi, Yu Sun, Xiaolong Wang

cs.AI

Resumo

Os Transformers atuais ainda enfrentam dificuldades para gerar vídeos de um minuto porque as camadas de self-attention são ineficientes para contextos longos. Alternativas como as camadas Mamba lutam com histórias complexas de múltiplas cenas porque seus estados ocultos são menos expressivos. Nós experimentamos com camadas de Test-Time Training (TTT), cujos estados ocultos podem ser redes neurais, tornando-os mais expressivos. A adição de camadas TTT a um Transformer pré-treinado permite que ele gere vídeos de um minuto a partir de storyboards de texto. Para prova de conceito, criamos um conjunto de dados baseado em desenhos animados de Tom e Jerry. Em comparação com baselines como Mamba~2, Gated DeltaNet e camadas de atenção com janela deslizante, as camadas TTT geram vídeos muito mais coerentes que contam histórias complexas, liderando por 34 pontos Elo em uma avaliação humana de 100 vídeos por método. Embora promissores, os resultados ainda contêm artefatos, provavelmente devido à capacidade limitada do modelo pré-treinado de 5B. A eficiência de nossa implementação também pode ser melhorada. Experimentamos apenas com vídeos de um minuto devido a restrições de recursos, mas a abordagem pode ser estendida para vídeos mais longos e histórias mais complexas. Vídeos de exemplo, código e anotações estão disponíveis em: https://test-time-training.github.io/video-dit

English

Transformers today still struggle to generate one-minute videos because self-attention layers are inefficient for long context. Alternatives such as Mamba layers struggle with complex multi-scene stories because their hidden states are less expressive. We experiment with Test-Time Training (TTT) layers, whose hidden states themselves can be neural networks, therefore more expressive. Adding TTT layers into a pre-trained Transformer enables it to generate one-minute videos from text storyboards. For proof of concept, we curate a dataset based on Tom and Jerry cartoons. Compared to baselines such as Mamba~2, Gated DeltaNet, and sliding-window attention layers, TTT layers generate much more coherent videos that tell complex stories, leading by 34 Elo points in a human evaluation of 100 videos per method. Although promising, results still contain artifacts, likely due to the limited capability of the pre-trained 5B model. The efficiency of our implementation can also be improved. We have only experimented with one-minute videos due to resource constraints, but the approach can be extended to longer videos and more complex stories. Sample videos, code and annotations are available at: https://test-time-training.github.io/video-dit