SkyReels-V4: Modello multimodale per la generazione, inpaint e modifica di video-audio
SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model
February 25, 2026
Autori: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Yahui Zhou
cs.AI
Abstract
SkyReels V4 è un modello foundation video multimodale unificato per la generazione, l'inpainting e l'editing congiunti di video e audio. Il modello adotta un'architettura dual-stream Multimodal Diffusion Transformer (MMDiT), in cui un ramo sintetizza il video e l'altro genera audio temporalmente allineato, condividendo un potente text encoder basato su Modelli Linguistici Multimediali di Grande Dimensione (MMLM). SkyReels V4 accetta istruzioni multimodali ricche, inclusi testo, immagini, clip video, maschere e riferimenti audio. Combinando la capacità degli MMLM di seguire istruzioni multimodali con l'apprendimento in contesto (in-context learning) nel ramo video MMDiT, il modello può iniettare una guida visiva fine sotto condizionamenti complessi, mentre il ramo audio MMDiT sfrutta simultaneamente i riferimenti audio per guidare la generazione del suono. Sul lato video, adottiamo una formulazione a concatenazione di canali che unifica un'ampia gamma di task di inpainting, come image-to-video, estensione video e video editing, sotto una singola interfaccia, e si estende naturalmente all'inpainting e all'editing con riferimenti visivi tramite prompt multimodali. SkyReels V4 supporta risoluzioni fino a 1080p, 32 FPS e una durata di 15 secondi, abilitando la generazione di video di alta fedeltà, multi-inquadratura e di livello cinematografico con audio sincronizzato. Per rendere computazionalmente fattibile una generazione di così alta risoluzione e lunga durata, introduciamo una strategia di efficienza: generazione congiunta di sequenze complete a bassa risoluzione e keyframe ad alta risoluzione, seguita da modelli dedicati di super-risoluzione e interpolazione di frame. A nostra conoscenza, SkyReels V4 è il primo modello foundation video che supporta simultaneamente input multimodale, generazione congiunta video-audio e un trattamento unificato di generazione, inpainting ed editing, mantenendo al contempo una forte efficienza e qualità a risoluzioni e durate cinematografiche.
English
SkyReels V4 is a unified multi modal video foundation model for joint video audio generation, inpainting, and editing. The model adopts a dual stream Multimodal Diffusion Transformer (MMDiT) architecture, where one branch synthesizes video and the other generates temporally aligned audio, while sharing a powerful text encoder based on the Multimodal Large Language Models (MMLM). SkyReels V4 accepts rich multi modal instructions, including text, images, video clips, masks, and audio references. By combining the MMLMs multi modal instruction following capability with in context learning in the video branch MMDiT, the model can inject fine grained visual guidance under complex conditioning, while the audio branch MMDiT simultaneously leverages audio references to guide sound generation. On the video side, we adopt a channel concatenation formulation that unifies a wide range of inpainting style tasks, such as image to video, video extension, and video editing under a single interface, and naturally extends to vision referenced inpainting and editing via multi modal prompts. SkyReels V4 supports up to 1080p resolution, 32 FPS, and 15 second duration, enabling high fidelity, multi shot, cinema level video generation with synchronized audio. To make such high resolution, long-duration generation computationally feasible, we introduce an efficiency strategy: Joint generation of low resolution full sequences and high-resolution keyframes, followed by dedicated super-resolution and frame interpolation models. To our knowledge, SkyReels V4 is the first video foundation model that simultaneously supports multi-modal input, joint video audio generation, and a unified treatment of generation, inpainting, and editing, while maintaining strong efficiency and quality at cinematic resolutions and durations.