Generación de videos de un minuto con entrenamiento en tiempo de prueba

One-Minute Video Generation with Test-Time Training

April 7, 2025

Autores: Karan Dalal, Daniel Koceja, Gashon Hussein, Jiarui Xu, Yue Zhao, Youjin Song, Shihao Han, Ka Chun Cheung, Jan Kautz, Carlos Guestrin, Tatsunori Hashimoto, Sanmi Koyejo, Yejin Choi, Yu Sun, Xiaolong Wang

cs.AI

Resumen

Los Transformers actualmente aún tienen dificultades para generar videos de un minuto porque las capas de autoatención son ineficientes para contextos largos. Alternativas como las capas Mamba luchan con historias complejas de múltiples escenas porque sus estados ocultos son menos expresivos. Experimentamos con capas de Entrenamiento en Tiempo de Prueba (TTT), cuyos estados ocultos pueden ser redes neuronales, lo que los hace más expresivos. Al agregar capas TTT a un Transformer preentrenado, este puede generar videos de un minuto a partir de guiones gráficos de texto. Como prueba de concepto, hemos creado un conjunto de datos basado en los dibujos animados de Tom y Jerry. En comparación con líneas de base como Mamba~2, Gated DeltaNet y capas de atención de ventana deslizante, las capas TTT generan videos mucho más coherentes que cuentan historias complejas, superando por 34 puntos Elo en una evaluación humana de 100 videos por método. Aunque prometedores, los resultados aún contienen artefactos, probablemente debido a la capacidad limitada del modelo preentrenado de 5B. La eficiencia de nuestra implementación también puede mejorarse. Solo hemos experimentado con videos de un minuto debido a limitaciones de recursos, pero el enfoque puede extenderse a videos más largos y a historias más complejas. Videos de muestra, código y anotaciones están disponibles en: https://test-time-training.github.io/video-dit

English

Transformers today still struggle to generate one-minute videos because self-attention layers are inefficient for long context. Alternatives such as Mamba layers struggle with complex multi-scene stories because their hidden states are less expressive. We experiment with Test-Time Training (TTT) layers, whose hidden states themselves can be neural networks, therefore more expressive. Adding TTT layers into a pre-trained Transformer enables it to generate one-minute videos from text storyboards. For proof of concept, we curate a dataset based on Tom and Jerry cartoons. Compared to baselines such as Mamba~2, Gated DeltaNet, and sliding-window attention layers, TTT layers generate much more coherent videos that tell complex stories, leading by 34 Elo points in a human evaluation of 100 videos per method. Although promising, results still contain artifacts, likely due to the limited capability of the pre-trained 5B model. The efficiency of our implementation can also be improved. We have only experimented with one-minute videos due to resource constraints, but the approach can be extended to longer videos and more complex stories. Sample videos, code and annotations are available at: https://test-time-training.github.io/video-dit