SkyReels-Audio: Omni Audio-geconditioneerde sprekende portretten in video Diffusie Transformers

SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers

June 1, 2025

Auteurs: Zhengcong Fei, Hao Jiang, Di Qiu, Baoxuan Gu, Youqiang Zhang, Jiahua Wang, Jialin Bai, Debang Li, Mingyuan Fan, Guibin Chen, Yahui Zhou

cs.AI

Samenvatting

Het genereren en bewerken van audio-gestuurde pratende portretten geleid door multimodale invoer, waaronder tekst, afbeeldingen en video's, blijft onderbelicht. In dit artikel presenteren we SkyReels-Audio, een uniform raamwerk voor het synthetiseren van hoogwaardige en temporeel coherente pratende portretvideo's. Gebaseerd op vooraf getrainde video-diffusietransformers, ondersteunt ons raamwerk oneindige lengte generatie en bewerking, terwijl het diverse en controleerbare conditionering mogelijk maakt via multimodale invoer. We gebruiken een hybride curriculumleerstrategie om audio progressief af te stemmen op gezichtsbewegingen, waardoor fijnmazige multimodale controle over lange videosequenties mogelijk wordt. Om lokale gezichtssamenhang te verbeteren, introduceren we een gezichtsmaskerverlies en een audio-gestuurd classifier-free guidance-mechanisme. Een sliding-window denoising-benadering smelt verder latenterepresentaties samen over temporele segmenten, waardoor visuele kwaliteit en temporele consistentie over langere perioden en diverse identiteiten worden gewaarborgd. Belangrijker nog, we construeren een toegewijd datapipeline voor het samenstellen van hoogwaardige triplets bestaande uit gesynchroniseerde audio, video en tekstuele beschrijvingen. Uitgebreide benchmarkevaluaties tonen aan dat SkyReels-Audio superieure prestaties bereikt op het gebied van lip-sync nauwkeurigheid, identiteitsconsistentie en realistische gezichtsdynamiek, vooral onder complexe en uitdagende omstandigheden.

English

The generation and editing of audio-conditioned talking portraits guided by multimodal inputs, including text, images, and videos, remains under explored. In this paper, we present SkyReels-Audio, a unified framework for synthesizing high-fidelity and temporally coherent talking portrait videos. Built upon pretrained video diffusion transformers, our framework supports infinite-length generation and editing, while enabling diverse and controllable conditioning through multimodal inputs. We employ a hybrid curriculum learning strategy to progressively align audio with facial motion, enabling fine-grained multimodal control over long video sequences. To enhance local facial coherence, we introduce a facial mask loss and an audio-guided classifier-free guidance mechanism. A sliding-window denoising approach further fuses latent representations across temporal segments, ensuring visual fidelity and temporal consistency across extended durations and diverse identities. More importantly, we construct a dedicated data pipeline for curating high-quality triplets consisting of synchronized audio, video, and textual descriptions. Comprehensive benchmark evaluations show that SkyReels-Audio achieves superior performance in lip-sync accuracy, identity consistency, and realistic facial dynamics, particularly under complex and challenging conditions.