Гоку: Модели основанные на потоке для генерации видео

Goku: Flow Based Video Generative Foundation Models

February 7, 2025

Авторы: Shoufa Chen, Chongjian Ge, Yuqi Zhang, Yida Zhang, Fengda Zhu, Hao Yang, Hongxiang Hao, Hui Wu, Zhichao Lai, Yifei Hu, Ting-Che Lin, Shilong Zhang, Fu Li, Chuan Li, Xing Wang, Yanghua Peng, Peize Sun, Ping Luo, Yi Jiang, Zehuan Yuan, Bingyue Peng, Xiaobing Liu

cs.AI

Аннотация

В данной статье представлен Goku, передовая семейство моделей совместного генерирования изображений и видео, использующих преобразователи потоков для достижения ведущей позиции в отрасли. Мы подробно описываем основные элементы, обеспечивающие высококачественное визуальное генерирование, включая конвейер кураторства данных, архитектуру модели, формулировку потока и передовую инфраструктуру для эффективного и надежного масштабного обучения. Модели Goku демонстрируют превосходную производительность как в качественной, так и в количественной оценке, устанавливая новые стандарты по всем основным задачам. Конкретно, Goku достигает 0.76 на GenEval и 83.65 на DPG-Bench для генерации текста в изображения, а также 84.85 на VBench для задач генерации текста в видео. Мы считаем, что данная работа предоставляет ценные идеи и практические достижения для исследовательского сообщества в разработке совместных моделей генерирования изображений и видео.

English

This paper introduces Goku, a state-of-the-art family of joint image-and-video generation models leveraging rectified flow Transformers to achieve industry-leading performance. We detail the foundational elements enabling high-quality visual generation, including the data curation pipeline, model architecture design, flow formulation, and advanced infrastructure for efficient and robust large-scale training. The Goku models demonstrate superior performance in both qualitative and quantitative evaluations, setting new benchmarks across major tasks. Specifically, Goku achieves 0.76 on GenEval and 83.65 on DPG-Bench for text-to-image generation, and 84.85 on VBench for text-to-video tasks. We believe that this work provides valuable insights and practical advancements for the research community in developing joint image-and-video generation models.