Goku: フローベースのビデオ生成基盤モデル

Goku: Flow Based Video Generative Foundation Models

February 7, 2025

著者: Shoufa Chen, Chongjian Ge, Yuqi Zhang, Yida Zhang, Fengda Zhu, Hao Yang, Hongxiang Hao, Hui Wu, Zhichao Lai, Yifei Hu, Ting-Che Lin, Shilong Zhang, Fu Li, Chuan Li, Xing Wang, Yanghua Peng, Peize Sun, Ping Luo, Yi Jiang, Zehuan Yuan, Bingyue Peng, Xiaobing Liu

cs.AI

要旨

本論文では、最先端のジョイント画像およびビデオ生成モデルファミリーであるGokuを紹介します。このモデルは、修正フローTransformerを活用して産業をリードするパフォーマンスを実現しています。高品質なビジュアル生成を可能にする基本要素について詳細に説明し、データキュレーションパイプライン、モデルアーキテクチャ設計、フロー式、効率的かつ堅牢な大規模トレーニングのための高度なインフラを含めます。Gokuモデルは、定性的および定量的評価の両方で優れたパフォーマンスを示し、主要なタスク全体で新たな基準を確立しています。具体的には、Gokuは、GenEvalでは0.76、DPG-Benchでは83.65（テキストから画像生成）、およびVBenchでは84.85（テキストからビデオタスク）を達成しています。この研究は、ジョイント画像およびビデオ生成モデルの開発において、研究コミュニティに貴重な示唆と実用的な進歩を提供していると考えています。

English

This paper introduces Goku, a state-of-the-art family of joint image-and-video generation models leveraging rectified flow Transformers to achieve industry-leading performance. We detail the foundational elements enabling high-quality visual generation, including the data curation pipeline, model architecture design, flow formulation, and advanced infrastructure for efficient and robust large-scale training. The Goku models demonstrate superior performance in both qualitative and quantitative evaluations, setting new benchmarks across major tasks. Specifically, Goku achieves 0.76 on GenEval and 83.65 on DPG-Bench for text-to-image generation, and 84.85 on VBench for text-to-video tasks. We believe that this work provides valuable insights and practical advancements for the research community in developing joint image-and-video generation models.