SkyReels-V4: Modelo Multimodal de Geração, Restauração e Edição de Vídeo e Áudio
SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model
February 25, 2026
Autores: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Yahui Zhou
cs.AI
Resumo
O SkyReels V4 é um modelo de base de vídeo multimodal unificado para geração, preenchimento e edição conjunta de vídeo e áudio. O modelo adota uma arquitetura de Transformador de Difusão Multimodal (MMDiT) de fluxo duplo, onde um ramo sintetiza vídeo e o outro gera áudio temporalmente alinhado, compartilhando um poderoso codificador de texto baseado em Modelos de Linguagem de Grande Escala Multimodal (MMLM). O SkyReels V4 aceita instruções multimodais ricas, incluindo texto, imagens, clipes de vídeo, máscaras e referências de áudio. Ao combinar a capacidade de seguimento de instruções multimodais dos MMLMs com o aprendizado em contexto no ramo de vídeo MMDiT, o modelo pode injetar orientação visual de granularidade fina sob condicionamento complexo, enquanto o ramo de áudio MMDiT aproveita simultaneamente referências de áudio para orientar a geração de som. No lado do vídeo, adotamos uma formulação de concatenação de canais que unifica uma ampla gama de tarefas de estilo de preenchimento, como imagem para vídeo, extensão de vídeo e edição de vídeo em uma única interface, e se estende naturalmente para preenchimento e edição com referência visual por meio de prompts multimodais. O SkyReels V4 suporta até resolução 1080p, 32 FPS e duração de 15 segundos, permitindo a geração de vídeo de alta fidelidade, com múltiplas cenas e nível cinematográfico, com áudio sincronizado. Para tornar essa geração de alta resolução e longa duração computacionalmente viável, introduzimos uma estratégia de eficiência: geração conjunta de sequências completas em baixa resolução e quadros-chave em alta resolução, seguida por modelos dedicados de super-resolução e interpolação de quadros. Até onde sabemos, o SkyReels V4 é o primeiro modelo de base de vídeo que suporta simultaneamente entrada multimodal, geração conjunta de vídeo e áudio, e um tratamento unificado de geração, preenchimento e edição, mantendo forte eficiência e qualidade em resoluções e durações cinematográficas.
English
SkyReels V4 is a unified multi modal video foundation model for joint video audio generation, inpainting, and editing. The model adopts a dual stream Multimodal Diffusion Transformer (MMDiT) architecture, where one branch synthesizes video and the other generates temporally aligned audio, while sharing a powerful text encoder based on the Multimodal Large Language Models (MMLM). SkyReels V4 accepts rich multi modal instructions, including text, images, video clips, masks, and audio references. By combining the MMLMs multi modal instruction following capability with in context learning in the video branch MMDiT, the model can inject fine grained visual guidance under complex conditioning, while the audio branch MMDiT simultaneously leverages audio references to guide sound generation. On the video side, we adopt a channel concatenation formulation that unifies a wide range of inpainting style tasks, such as image to video, video extension, and video editing under a single interface, and naturally extends to vision referenced inpainting and editing via multi modal prompts. SkyReels V4 supports up to 1080p resolution, 32 FPS, and 15 second duration, enabling high fidelity, multi shot, cinema level video generation with synchronized audio. To make such high resolution, long-duration generation computationally feasible, we introduce an efficiency strategy: Joint generation of low resolution full sequences and high-resolution keyframes, followed by dedicated super-resolution and frame interpolation models. To our knowledge, SkyReels V4 is the first video foundation model that simultaneously supports multi-modal input, joint video audio generation, and a unified treatment of generation, inpainting, and editing, while maintaining strong efficiency and quality at cinematic resolutions and durations.