SkyReels-Audio: Ritratti Parlanti in Video Condizionati da Audio Omni con Diffusion Transformers

SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers

June 1, 2025

Autori: Zhengcong Fei, Hao Jiang, Di Qiu, Baoxuan Gu, Youqiang Zhang, Jiahua Wang, Jialin Bai, Debang Li, Mingyuan Fan, Guibin Chen, Yahui Zhou

cs.AI

Abstract

La generazione e l'editing di ritratti parlanti condizionati dall'audio guidati da input multimodali, inclusi testo, immagini e video, rimane un ambito poco esplorato. In questo articolo, presentiamo SkyReels-Audio, un framework unificato per la sintesi di video di ritratti parlanti ad alta fedeltà e coerenza temporale. Basato su trasformatori di diffusione video pre-addestrati, il nostro framework supporta la generazione e l'editing di lunghezza infinita, consentendo un condizionamento diversificato e controllabile attraverso input multimodali. Utilizziamo una strategia ibrida di apprendimento curriculare per allineare progressivamente l'audio con il movimento facciale, abilitando un controllo multimodale fine su sequenze video lunghe. Per migliorare la coerenza facciale locale, introduciamo una perdita basata su maschera facciale e un meccanismo di guida senza classificatore guidato dall'audio. Un approccio di denoising a finestra scorrevole fonde ulteriormente le rappresentazioni latenti attraverso segmenti temporali, garantendo fedeltà visiva e coerenza temporale su durate estese e diverse identità. Ancora più importante, costruiamo una pipeline dati dedicata per curare triplette di alta qualità costituite da audio, video e descrizioni testuali sincronizzati. Valutazioni benchmark complete dimostrano che SkyReels-Audio raggiunge prestazioni superiori in termini di accuratezza del lip-sync, coerenza dell'identità e dinamiche facciali realistiche, specialmente in condizioni complesse e impegnative.

English

The generation and editing of audio-conditioned talking portraits guided by multimodal inputs, including text, images, and videos, remains under explored. In this paper, we present SkyReels-Audio, a unified framework for synthesizing high-fidelity and temporally coherent talking portrait videos. Built upon pretrained video diffusion transformers, our framework supports infinite-length generation and editing, while enabling diverse and controllable conditioning through multimodal inputs. We employ a hybrid curriculum learning strategy to progressively align audio with facial motion, enabling fine-grained multimodal control over long video sequences. To enhance local facial coherence, we introduce a facial mask loss and an audio-guided classifier-free guidance mechanism. A sliding-window denoising approach further fuses latent representations across temporal segments, ensuring visual fidelity and temporal consistency across extended durations and diverse identities. More importantly, we construct a dedicated data pipeline for curating high-quality triplets consisting of synchronized audio, video, and textual descriptions. Comprehensive benchmark evaluations show that SkyReels-Audio achieves superior performance in lip-sync accuracy, identity consistency, and realistic facial dynamics, particularly under complex and challenging conditions.