Step-Video-T2V技術レポート：ビデオ基盤モデルの実践、課題、そして未来

Step-Video-T2V Technical Report: The Practice, Challenges, and Future of Video Foundation Model

February 14, 2025

著者: Guoqing Ma, Haoyang Huang, Kun Yan, Liangyu Chen, Nan Duan, Shengming Yin, Changyi Wan, Ranchen Ming, Xiaoniu Song, Xing Chen, Yu Zhou, Deshan Sun, Deyu Zhou, Jian Zhou, Kaijun Tan, Kang An, Mei Chen, Wei Ji, Qiling Wu, Wen Sun, Xin Han, Yanan Wei, Zheng Ge, Aojie Li, Bin Wang, Bizhu Huang, Bo Wang, Brian Li, Changxing Miao, Chen Xu, Chenfei Wu, Chenguang Yu, Dapeng Shi, Dingyuan Hu, Enle Liu, Gang Yu, Ge Yang, Guanzhe Huang, Gulin Yan, Haiyang Feng, Hao Nie, Haonan Jia, Hanpeng Hu, Hanqi Chen, Haolong Yan, Heng Wang, Hongcheng Guo, Huilin Xiong, Huixin Xiong, Jiahao Gong, Jianchang Wu, Jiaoren Wu, Jie Wu, Jie Yang, Jiashuai Liu, Jiashuo Li, Jingyang Zhang, Junjing Guo, Junzhe Lin, Kaixiang Li, Lei Liu, Lei Xia, Liang Zhao, Liguo Tan, Liwen Huang, Liying Shi, Ming Li, Mingliang Li, Muhua Cheng, Na Wang, Qiaohui Chen, Qinglin He, Qiuyan Liang, Quan Sun, Ran Sun, Rui Wang, Shaoliang Pang, Shiliang Yang, Sitong Liu, Siqi Liu, Shuli Gao, Tiancheng Cao, Tianyu Wang, Weipeng Ming, Wenqing He, Xu Zhao, Xuelin Zhang, Xianfang Zeng, Xiaojia Liu, Xuan Yang, Yaqi Dai, Yanbo Yu, Yang Li, Yineng Deng, Yingming Wang, Yilei Wang, Yuanwei Lu, Yu Chen, Yu Luo, Yuchu Luo, Yuhe Yin, Yuheng Feng, Yuxiang Yang, Zecheng Tang, Zekai Zhang, Zidong Yang, Binxing Jiao, Jiansheng Chen, Jing Li, Shuchang Zhou, Xiangyu Zhang, Xinhao Zhang, Yibo Zhu, Heung-Yeung Shum, Daxin Jiang

cs.AI

要旨

Step-Video-T2Vを紹介します。これは300億パラメータを有する最先端のテキスト・トゥ・ビデオ事前学習モデルで、最大204フレームの動画生成が可能です。動画生成タスクのために設計された深層圧縮型変分オートエンコーダ（Video-VAE）は、16x16の空間圧縮率と8xの時間圧縮率を実現しつつ、優れた動画再構成品質を維持します。ユーザープロンプトは、英語と中国語の両方を処理するために2つのバイリンガルテキストエンコーダを使用してエンコードされます。3Dフルアテンションを備えたDiT（Diffusion Transformer）はFlow Matchingを用いて訓練され、入力ノイズを潜在フレームにデノイズするために使用されます。動画ベースのDPO（Direct Preference Optimization）アプローチであるVideo-DPOを適用し、生成動画の視覚品質を向上させ、アーティファクトを低減します。また、トレーニング戦略の詳細を説明し、重要な観察結果と洞察を共有します。Step-Video-T2Vの性能は、新たに開発された動画生成ベンチマーク「Step-Video-T2V-Eval」で評価され、オープンソースおよび商用エンジンと比較しても最先端のテキスト・トゥ・ビデオ品質を実証しています。さらに、現在の拡散モデルベースのパラダイムの限界について議論し、ビデオ基盤モデルの今後の方向性を概説します。Step-Video-T2VとStep-Video-T2V-Evalは、https://github.com/stepfun-ai/Step-Video-T2V で公開しています。オンライン版は https://yuewen.cn/videos からもアクセス可能です。私たちの目標は、ビデオ基盤モデルのイノベーションを加速し、ビデオコンテンツクリエーターを支援することです。

English

We present Step-Video-T2V, a state-of-the-art text-to-video pre-trained model with 30B parameters and the ability to generate videos up to 204 frames in length. A deep compression Variational Autoencoder, Video-VAE, is designed for video generation tasks, achieving 16x16 spatial and 8x temporal compression ratios, while maintaining exceptional video reconstruction quality. User prompts are encoded using two bilingual text encoders to handle both English and Chinese. A DiT with 3D full attention is trained using Flow Matching and is employed to denoise input noise into latent frames. A video-based DPO approach, Video-DPO, is applied to reduce artifacts and improve the visual quality of the generated videos. We also detail our training strategies and share key observations and insights. Step-Video-T2V's performance is evaluated on a novel video generation benchmark, Step-Video-T2V-Eval, demonstrating its state-of-the-art text-to-video quality when compared with both open-source and commercial engines. Additionally, we discuss the limitations of current diffusion-based model paradigm and outline future directions for video foundation models. We make both Step-Video-T2V and Step-Video-T2V-Eval available at https://github.com/stepfun-ai/Step-Video-T2V. The online version can be accessed from https://yuewen.cn/videos as well. Our goal is to accelerate the innovation of video foundation models and empower video content creators.