SkyReels-Audio: Retratos Falantes em Vídeo Condicionados por Áudio Omni com Transformadores de Difusão

SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers

June 1, 2025

Autores: Zhengcong Fei, Hao Jiang, Di Qiu, Baoxuan Gu, Youqiang Zhang, Jiahua Wang, Jialin Bai, Debang Li, Mingyuan Fan, Guibin Chen, Yahui Zhou

cs.AI

Resumo

A geração e edição de retratos falantes condicionados por áudio, orientados por entradas multimodais, incluindo texto, imagens e vídeos, permanece pouco explorada. Neste artigo, apresentamos o SkyReels-Audio, um framework unificado para sintetizar vídeos de retratos falantes de alta fidelidade e coerência temporal. Construído sobre transformadores de difusão de vídeo pré-treinados, nosso framework suporta geração e edição de comprimento infinito, ao mesmo tempo que permite condicionamento diversificado e controlável por meio de entradas multimodais. Empregamos uma estratégia híbrida de aprendizado curricular para alinhar progressivamente o áudio com o movimento facial, permitindo controle multimodal refinado sobre sequências de vídeo longas. Para melhorar a coerência facial local, introduzimos uma perda de máscara facial e um mecanismo de orientação sem classificador guiado por áudio. Uma abordagem de redução de ruído em janela deslizante funde ainda mais as representações latentes entre segmentos temporais, garantindo fidelidade visual e consistência temporal em durações prolongadas e diversas identidades. Mais importante, construímos um pipeline de dados dedicado para curar triplas de alta qualidade, consistindo de áudio, vídeo e descrições textuais sincronizados. Avaliações abrangentes de benchmark mostram que o SkyReels-Audio alcança desempenho superior em precisão de sincronização labial, consistência de identidade e dinâmicas faciais realistas, especialmente sob condições complexas e desafiadoras.

English

The generation and editing of audio-conditioned talking portraits guided by multimodal inputs, including text, images, and videos, remains under explored. In this paper, we present SkyReels-Audio, a unified framework for synthesizing high-fidelity and temporally coherent talking portrait videos. Built upon pretrained video diffusion transformers, our framework supports infinite-length generation and editing, while enabling diverse and controllable conditioning through multimodal inputs. We employ a hybrid curriculum learning strategy to progressively align audio with facial motion, enabling fine-grained multimodal control over long video sequences. To enhance local facial coherence, we introduce a facial mask loss and an audio-guided classifier-free guidance mechanism. A sliding-window denoising approach further fuses latent representations across temporal segments, ensuring visual fidelity and temporal consistency across extended durations and diverse identities. More importantly, we construct a dedicated data pipeline for curating high-quality triplets consisting of synchronized audio, video, and textual descriptions. Comprehensive benchmark evaluations show that SkyReels-Audio achieves superior performance in lip-sync accuracy, identity consistency, and realistic facial dynamics, particularly under complex and challenging conditions.