SkyReels-V4: Modelo Multimodal de Generación, Restauración y Edición de Video-Audio
SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model
February 25, 2026
Autores: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Yahui Zhou
cs.AI
Resumen
SkyReels V4 es un modelo de base de video multimodal unificado para la generación, inpaintado y edición conjunta de video y audio. El modelo adopta una arquitectura de Transformador de Difusión Multimodal (MMDiT) de doble flujo, donde una rama sintetiza video y la otra genera audio temporalmente alineado, mientras comparten un potente codificador de texto basado en Modelos de Lenguaje Grandes Multimodales (MMLM). SkyReels V4 acepta instrucciones multimodales ricas, que incluyen texto, imágenes, clips de video, máscaras y referencias de audio. Al combinar la capacidad de seguimiento de instrucciones multimodales de los MMLM con el aprendizaje en contexto en la rama de video MMDiT, el modelo puede inyectar guía visual de grano fino bajo condicionamiento complejo, mientras que la rama de audio MMDiT aprovecha simultáneamente referencias de audio para guiar la generación de sonido. En el lado del video, adoptamos una formulación por concatenación de canales que unifica una amplia gama de tareas de estilo inpaintado, como imagen a video, extensión de video y edición de video bajo una única interfaz, y se extiende naturalmente al inpaintado y edición con referencia visual mediante prompts multimodales. SkyReels V4 soporta hasta resolución 1080p, 32 FPS y una duración de 15 segundos, permitiendo la generación de video de alta fidelidad, con múltiples planos y nivel cinematográfico con audio sincronizado. Para hacer que dicha generación de alta resolución y larga duración sea computacionalmente viable, introducimos una estrategia de eficiencia: generación conjunta de secuencias completas en baja resolución y fotogramas clave en alta resolución, seguida de modelos dedicados de superresolución e interpolación de fotogramas. Hasta donde sabemos, SkyReels V4 es el primer modelo de base de video que soporta simultáneamente entrada multimodal, generación conjunta de video y audio, y un tratamiento unificado de generación, inpaintado y edición, manteniendo una alta eficiencia y calidad en resoluciones y duraciones cinematográficas.
English
SkyReels V4 is a unified multi modal video foundation model for joint video audio generation, inpainting, and editing. The model adopts a dual stream Multimodal Diffusion Transformer (MMDiT) architecture, where one branch synthesizes video and the other generates temporally aligned audio, while sharing a powerful text encoder based on the Multimodal Large Language Models (MMLM). SkyReels V4 accepts rich multi modal instructions, including text, images, video clips, masks, and audio references. By combining the MMLMs multi modal instruction following capability with in context learning in the video branch MMDiT, the model can inject fine grained visual guidance under complex conditioning, while the audio branch MMDiT simultaneously leverages audio references to guide sound generation. On the video side, we adopt a channel concatenation formulation that unifies a wide range of inpainting style tasks, such as image to video, video extension, and video editing under a single interface, and naturally extends to vision referenced inpainting and editing via multi modal prompts. SkyReels V4 supports up to 1080p resolution, 32 FPS, and 15 second duration, enabling high fidelity, multi shot, cinema level video generation with synchronized audio. To make such high resolution, long-duration generation computationally feasible, we introduce an efficiency strategy: Joint generation of low resolution full sequences and high-resolution keyframes, followed by dedicated super-resolution and frame interpolation models. To our knowledge, SkyReels V4 is the first video foundation model that simultaneously supports multi-modal input, joint video audio generation, and a unified treatment of generation, inpainting, and editing, while maintaining strong efficiency and quality at cinematic resolutions and durations.