テストタイムトレーニングを用いた1分間動画生成

One-Minute Video Generation with Test-Time Training

April 7, 2025

著者: Karan Dalal, Daniel Koceja, Gashon Hussein, Jiarui Xu, Yue Zhao, Youjin Song, Shihao Han, Ka Chun Cheung, Jan Kautz, Carlos Guestrin, Tatsunori Hashimoto, Sanmi Koyejo, Yejin Choi, Yu Sun, Xiaolong Wang

cs.AI

要旨

今日のTransformerモデルは、1分間の動画生成において依然として苦戦しています。これは、自己注意層が長い文脈に対して非効率的であるためです。Mamba層などの代替手法は、複数のシーンからなる複雑な物語を扱う際に課題を抱えています。その理由は、隠れ状態の表現力が低いためです。私たちは、隠れ状態自体がニューラルネットワークとなり得るTest-Time Training（TTT）層を実験しました。これにより、表現力が向上します。事前学習済みのTransformerにTTT層を追加することで、テキストストーリーボードから1分間の動画を生成できるようになりました。概念実証として、トムとジェリーのカートゥーンに基づいたデータセットをキュレーションしました。Mamba~2、Gated DeltaNet、スライディングウィンドウ注意層などのベースラインと比較すると、TTT層はより一貫性のある動画を生成し、複雑な物語を伝えることができます。100本の動画を各手法で評価した人間評価において、34Eloポイントのリードを達成しました。有望な結果ではありますが、事前学習済みの5Bモデルの能力の限界により、アーティファクトが含まれている可能性があります。また、実装の効率性も改善の余地があります。リソースの制約により、1分間の動画のみを実験しましたが、このアプローチはより長い動画や複雑な物語にも拡張可能です。サンプル動画、コード、アノテーションは以下のURLで公開しています：https://test-time-training.github.io/video-dit

English

Transformers today still struggle to generate one-minute videos because self-attention layers are inefficient for long context. Alternatives such as Mamba layers struggle with complex multi-scene stories because their hidden states are less expressive. We experiment with Test-Time Training (TTT) layers, whose hidden states themselves can be neural networks, therefore more expressive. Adding TTT layers into a pre-trained Transformer enables it to generate one-minute videos from text storyboards. For proof of concept, we curate a dataset based on Tom and Jerry cartoons. Compared to baselines such as Mamba~2, Gated DeltaNet, and sliding-window attention layers, TTT layers generate much more coherent videos that tell complex stories, leading by 34 Elo points in a human evaluation of 100 videos per method. Although promising, results still contain artifacts, likely due to the limited capability of the pre-trained 5B model. The efficiency of our implementation can also be improved. We have only experimented with one-minute videos due to resource constraints, but the approach can be extended to longer videos and more complex stories. Sample videos, code and annotations are available at: https://test-time-training.github.io/video-dit