SkyReels-V4 : Modèle multimodal de génération, d'inpainting et d'édition vidéo-audio
SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model
February 25, 2026
papers.authors: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Yahui Zhou
cs.AI
papers.abstract
SkyReels V4 est un modèle de fondation vidéo multimodal unifié pour la génération, l'inpainting et l'édition conjointes vidéo-audio. Le modèle adopte une architecture Dual Stream Multimodal Diffusion Transformer (MMDiT), où une branche synthétise la vidéo et l'autre génère l'audio temporellement aligné, tout en partageant un puissant encodeur de texte basé sur les Multimodal Large Language Models (MMLM). SkyReels V4 accepte des instructions multimodales riches, incluant du texte, des images, des extraits vidéo, des masques et des références audio. En combinant la capacité de suivi d'instructions multimodales des MMLM avec l'apprentissage en contexte dans la branche vidéo MMDiT, le modèle peut injecter un guidage visuel fin sous des conditionnements complexes, tandis que la branche audio MMDiT exploite simultanément les références audio pour guider la génération sonore. Côté vidéo, nous adoptons une formulation par concaténation de canaux qui unifie un large éventail de tâches de type inpainting, telles que l'image-à-vidéo, l'extension vidéo et l'édition vidéo sous une interface unique, et s'étend naturellement à l'inpainting et l'édition par référence visuelle via des prompts multimodaux. SkyReels V4 prend en charge des résolutions jusqu'à 1080p, 32 FPS et une durée de 15 secondes, permettant une génération vidéo haute fidélité, multi-plans, de niveau cinéma avec un audio synchronisé. Pour rendre une génération aussi haute résolution et longue durée réalisable sur le plan computationnel, nous introduisons une stratégie d'efficacité : génération conjointe de séquences complètes basse résolution et d'images clés haute résolution, suivie par des modèles dédiés de super-résolution et d'interpolation d'images. À notre connaissance, SkyReels V4 est le premier modèle de fondation vidéo qui prend simultanément en charge une entrée multimodale, la génération vidéo-audio conjointe, et un traitement unifié de la génération, de l'inpainting et de l'édition, tout en maintenant une forte efficacité et une haute qualité aux résolutions et durées cinématographiques.
English
SkyReels V4 is a unified multi modal video foundation model for joint video audio generation, inpainting, and editing. The model adopts a dual stream Multimodal Diffusion Transformer (MMDiT) architecture, where one branch synthesizes video and the other generates temporally aligned audio, while sharing a powerful text encoder based on the Multimodal Large Language Models (MMLM). SkyReels V4 accepts rich multi modal instructions, including text, images, video clips, masks, and audio references. By combining the MMLMs multi modal instruction following capability with in context learning in the video branch MMDiT, the model can inject fine grained visual guidance under complex conditioning, while the audio branch MMDiT simultaneously leverages audio references to guide sound generation. On the video side, we adopt a channel concatenation formulation that unifies a wide range of inpainting style tasks, such as image to video, video extension, and video editing under a single interface, and naturally extends to vision referenced inpainting and editing via multi modal prompts. SkyReels V4 supports up to 1080p resolution, 32 FPS, and 15 second duration, enabling high fidelity, multi shot, cinema level video generation with synchronized audio. To make such high resolution, long-duration generation computationally feasible, we introduce an efficiency strategy: Joint generation of low resolution full sequences and high-resolution keyframes, followed by dedicated super-resolution and frame interpolation models. To our knowledge, SkyReels V4 is the first video foundation model that simultaneously supports multi-modal input, joint video audio generation, and a unified treatment of generation, inpainting, and editing, while maintaining strong efficiency and quality at cinematic resolutions and durations.