SkyReels-V4: 다중 모달 비디오-오디오 생성, 인페인팅 및 편집 모델
SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model
February 25, 2026
저자: Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Yahui Zhou
cs.AI
초록
SkyReels V4는 비디오-오디오 결합 생성, 인페인팅, 편집을 위한 통합 멀티모달 비디오 파운데이션 모델입니다. 본 모델은 이중 스트림 멀티모달 디퓨전 트랜스포머(MMDiT) 아키텍처를 채택하여, 한 브랜치는 비디오를 합성하고 다른 브랜치는 시간적으로 정렬된 오디오를 생성하며, 멀티모달 대형 언어 모델(MMLM) 기반의 강력한 텍스트 인코더를 공유합니다. SkyReels V4는 텍스트, 이미지, 비디오 클립, 마스크, 오디오 참조를 포함한 풍부한 멀티모달 명령어를 입력받습니다. MMLM의 멀티모달 명령어 수행 능력과 비디오 브랜치 MMDiT의 인콘텍스트 러닝을 결합함으로써, 모델은 복잡한 조건 하에서 정교한 시각적 지침을 주입할 수 있는 반면, 오디오 브랜치 MMDiT는 동시에 오디오 참조를 활용하여 사운드 생성을 유도합니다. 비디오 측면에서는 이미지-투-비디오, 비디오 확장, 비디오 편집 등 다양한 인페인팅 스타일 작업을 단일 인터페이스로 통합하는 채널 연결 방식을 채택하고, 멀티모달 프롬프트를 통해 시각 참조 기반 인페인팅 및 편집으로 자연스럽게 확장됩니다. SkyReels V4는 최대 1080p 해상도, 32 FPS, 15초 길이를 지원하여 동기화된 오디오와 함께 고화질, 멀티샷, 시네마급 비디오 생성을 가능하게 합니다. 이러한 고해상도, 장시간 생성을 계산적으로 실현 가능하게 하기 위해 저해상도 전체 시퀀스와 고해상도 키프레임의 결합 생성 후 전용 초해상도 및 프레임 보간 모델을 적용하는 효율성 전략을 도입했습니다. 우리가 알기로 SkyReels V4는 시네마틱 해상도와 길이에서 강력한 효율성과 품질을 유지하면서 멀티모달 입력, 비디오-오디오 결합 생성, 생성/인페인팅/편집의 통합 처리를 동시에 지원하는 최초의 비디오 파운데이션 모델입니다.
English
SkyReels V4 is a unified multi modal video foundation model for joint video audio generation, inpainting, and editing. The model adopts a dual stream Multimodal Diffusion Transformer (MMDiT) architecture, where one branch synthesizes video and the other generates temporally aligned audio, while sharing a powerful text encoder based on the Multimodal Large Language Models (MMLM). SkyReels V4 accepts rich multi modal instructions, including text, images, video clips, masks, and audio references. By combining the MMLMs multi modal instruction following capability with in context learning in the video branch MMDiT, the model can inject fine grained visual guidance under complex conditioning, while the audio branch MMDiT simultaneously leverages audio references to guide sound generation. On the video side, we adopt a channel concatenation formulation that unifies a wide range of inpainting style tasks, such as image to video, video extension, and video editing under a single interface, and naturally extends to vision referenced inpainting and editing via multi modal prompts. SkyReels V4 supports up to 1080p resolution, 32 FPS, and 15 second duration, enabling high fidelity, multi shot, cinema level video generation with synchronized audio. To make such high resolution, long-duration generation computationally feasible, we introduce an efficiency strategy: Joint generation of low resolution full sequences and high-resolution keyframes, followed by dedicated super-resolution and frame interpolation models. To our knowledge, SkyReels V4 is the first video foundation model that simultaneously supports multi-modal input, joint video audio generation, and a unified treatment of generation, inpainting, and editing, while maintaining strong efficiency and quality at cinematic resolutions and durations.