Seaweed-7B: Экономически эффективное обучение базовой модели для генерации видео

Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model

April 11, 2025

Авторы: Team Seawead, Ceyuan Yang, Zhijie Lin, Yang Zhao, Shanchuan Lin, Zhibei Ma, Haoyuan Guo, Hao Chen, Lu Qi, Sen Wang, Feng Cheng, Feilong Zuo Xuejiao Zeng, Ziyan Yang, Fangyuan Kong, Zhiwu Qing, Fei Xiao, Meng Wei, Tuyen Hoang, Siyu Zhang, Peihao Zhu, Qi Zhao, Jiangqiao Yan, Liangke Gui, Sheng Bi, Jiashi Li, Yuxi Ren, Rui Wang, Huixia Li, Xuefeng Xiao, Shu Liu, Feng Ling, Heng Zhang, Houmin Wei, Huafeng Kuang, Jerry Duncan, Junda Zhang, Junru Zheng, Li Sun, Manlin Zhang, Renfei Sun, Xiaobin Zhuang, Xiaojie Li, Xin Xia, Xuyan Chi, Yanghua Peng, Yuping Wang, Yuxuan Wang, Zhongkai Zhao, Zhuo Chen, Zuquan Song, Zhenheng Yang, Jiashi Feng, Jianchao Yang, Lu Jiang

cs.AI

Аннотация

В данном техническом отчете представлена экономически эффективная стратегия обучения базовой модели для генерации видео. Мы представляем исследовательскую модель среднего размера с примерно 7 миллиардами параметров (7B), названную Seaweed-7B, которая была обучена с нуля с использованием 665 000 часов работы GPU H100. Несмотря на обучение с умеренными вычислительными ресурсами, Seaweed-7B демонстрирует высококонкурентную производительность по сравнению с современными моделями генерации видео значительно большего размера. В условиях ограниченных ресурсов особенно важны продуманные проектные решения. В этом техническом отчете выделены ключевые проектные решения, которые повышают производительность модели диффузии среднего размера. Эмпирически мы делаем два наблюдения: (1) Seaweed-7B достигает производительности, сопоставимой или даже превосходящей более крупные модели, обученные с использованием значительно больших вычислительных ресурсов, и (2) наша модель, обладающая сильной способностью к обобщению, может быть эффективно адаптирована для широкого спектра прикладных задач либо путем легкой дообучения, либо продолжения обучения. Подробнее на странице проекта: https://seaweed.video/

English

This technical report presents a cost-efficient strategy for training a video generation foundation model. We present a mid-sized research model with approximately 7 billion parameters (7B) called Seaweed-7B trained from scratch using 665,000 H100 GPU hours. Despite being trained with moderate computational resources, Seaweed-7B demonstrates highly competitive performance compared to contemporary video generation models of much larger size. Design choices are especially crucial in a resource-constrained setting. This technical report highlights the key design decisions that enhance the performance of the medium-sized diffusion model. Empirically, we make two observations: (1) Seaweed-7B achieves performance comparable to, or even surpasses, larger models trained on substantially greater GPU resources, and (2) our model, which exhibits strong generalization ability, can be effectively adapted across a wide range of downstream applications either by lightweight fine-tuning or continue training. See the project page at https://seaweed.video/