Seedance 1.0: Het Verkennen van de Grenzen van Videogeneratiemodellen

Seedance 1.0: Exploring the Boundaries of Video Generation Models

June 10, 2025

Auteurs: Yu Gao, Haoyuan Guo, Tuyen Hoang, Weilin Huang, Lu Jiang, Fangyuan Kong, Huixia Li, Jiashi Li, Liang Li, Xiaojie Li, Xunsong Li, Yifu Li, Shanchuan Lin, Zhijie Lin, Jiawei Liu, Shu Liu, Xiaonan Nie, Zhiwu Qing, Yuxi Ren, Li Sun, Zhi Tian, Rui Wang, Sen Wang, Guoqiang Wei, Guohong Wu, Jie Wu, Ruiqi Xia, Fei Xiao, Xuefeng Xiao, Jiangqiao Yan, Ceyuan Yang, Jianchao Yang, Runkai Yang, Tao Yang, Yihang Yang, Zilyu Ye, Xuejiao Zeng, Yan Zeng, Heng Zhang, Yang Zhao, Xiaozheng Zheng, Peihao Zhu, Jiaxin Zou, Feilong Zuo

cs.AI

Samenvatting

Opmerkelijke doorbraken in diffusiemodellering hebben snelle verbeteringen in videogeneratie mogelijk gemaakt, maar huidige fundamentele modellen kampen nog steeds met kritieke uitdagingen bij het gelijktijdig balanceren van promptvolging, bewegingsgeloofwaardigheid en visuele kwaliteit. In dit rapport introduceren we Seedance 1.0, een hoogwaardig en inferentie-efficiënt videogeneratiemodel dat verschillende kerntechnische verbeteringen integreert: (i) multi-source datacuratie versterkt met nauwkeurige en betekenisvolle videobeschrijvingen, waardoor uitgebreid leren over diverse scenario's mogelijk wordt; (ii) een efficiënt ontwerp van de architectuur met een voorgesteld trainingsparadigma, dat native ondersteuning biedt voor multi-shot generatie en gezamenlijk leren van zowel tekst-naar-video als beeld-naar-video taken; (iii) zorgvuldig geoptimaliseerde post-trainingsbenaderingen die gebruikmaken van fijnmazige supervised fine-tuning en video-specifieke RLHF met multidimensionale beloningsmechanismen voor algehele prestatieverbeteringen; (iv) uitstekende modelversnelling die een ~10x inferentiesnelheidsverbetering bereikt door middel van meerfasige distillatiestrategieën en systeemniveau-optimalisaties. Seedance 1.0 kan een 5 seconden durende video genereren in 1080p resolutie in slechts 41,4 seconden (NVIDIA-L20). Vergeleken met state-of-the-art videogeneratiemodellen, onderscheidt Seedance 1.0 zich door hoogwaardige en snelle videogeneratie met superieure spatiotemporele vloeiendheid en structurele stabiliteit, nauwkeurige instructievolging in complexe multi-subject contexten, en native multi-shot narratieve samenhang met consistente subjectrepresentatie.

English

Notable breakthroughs in diffusion modeling have propelled rapid improvements in video generation, yet current foundational model still face critical challenges in simultaneously balancing prompt following, motion plausibility, and visual quality. In this report, we introduce Seedance 1.0, a high-performance and inference-efficient video foundation generation model that integrates several core technical improvements: (i) multi-source data curation augmented with precision and meaningful video captioning, enabling comprehensive learning across diverse scenarios; (ii) an efficient architecture design with proposed training paradigm, which allows for natively supporting multi-shot generation and jointly learning of both text-to-video and image-to-video tasks. (iii) carefully-optimized post-training approaches leveraging fine-grained supervised fine-tuning, and video-specific RLHF with multi-dimensional reward mechanisms for comprehensive performance improvements; (iv) excellent model acceleration achieving ~10x inference speedup through multi-stage distillation strategies and system-level optimizations. Seedance 1.0 can generate a 5-second video at 1080p resolution only with 41.4 seconds (NVIDIA-L20). Compared to state-of-the-art video generation models, Seedance 1.0 stands out with high-quality and fast video generation having superior spatiotemporal fluidity with structural stability, precise instruction adherence in complex multi-subject contexts, native multi-shot narrative coherence with consistent subject representation.