SkyReels-Audio : Portraits parlants conditionnés par audio omnidirectionnel dans les vidéos à base de Transformers de diffusion

SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers

June 1, 2025

Auteurs: Zhengcong Fei, Hao Jiang, Di Qiu, Baoxuan Gu, Youqiang Zhang, Jiahua Wang, Jialin Bai, Debang Li, Mingyuan Fan, Guibin Chen, Yahui Zhou

cs.AI

Résumé

La génération et l'édition de portraits parlants conditionnés par l'audio, guidés par des entrées multimodales incluant du texte, des images et des vidéos, restent peu explorées. Dans cet article, nous présentons SkyReels-Audio, un cadre unifié pour la synthèse de vidéos de portraits parlants à haute fidélité et cohérence temporelle. Basé sur des transformateurs de diffusion vidéo pré-entraînés, notre cadre prend en charge la génération et l'édition de longueur infinie, tout en permettant un conditionnement diversifié et contrôlable via des entrées multimodales. Nous utilisons une stratégie d'apprentissage hybride par curriculum pour aligner progressivement l'audio avec les mouvements faciaux, permettant un contrôle multimodal fin sur de longues séquences vidéo. Pour améliorer la cohérence faciale locale, nous introduisons une perte de masque facial et un mécanisme de guidage sans classifieur conditionné par l'audio. Une approche de débruitage par fenêtre glissante fusionne en outre les représentations latentes à travers les segments temporels, assurant une fidélité visuelle et une cohérence temporelle sur des durées prolongées et des identités diverses. Plus important encore, nous construisons un pipeline de données dédié pour la curation de triplets de haute qualité composés d'audio, de vidéo et de descriptions textuelles synchronisés. Des évaluations approfondies sur des benchmarks montrent que SkyReels-Audio atteint des performances supérieures en termes de précision de synchronisation labiale, de cohérence d'identité et de dynamiques faciales réalistes, en particulier dans des conditions complexes et difficiles.

English

The generation and editing of audio-conditioned talking portraits guided by multimodal inputs, including text, images, and videos, remains under explored. In this paper, we present SkyReels-Audio, a unified framework for synthesizing high-fidelity and temporally coherent talking portrait videos. Built upon pretrained video diffusion transformers, our framework supports infinite-length generation and editing, while enabling diverse and controllable conditioning through multimodal inputs. We employ a hybrid curriculum learning strategy to progressively align audio with facial motion, enabling fine-grained multimodal control over long video sequences. To enhance local facial coherence, we introduce a facial mask loss and an audio-guided classifier-free guidance mechanism. A sliding-window denoising approach further fuses latent representations across temporal segments, ensuring visual fidelity and temporal consistency across extended durations and diverse identities. More importantly, we construct a dedicated data pipeline for curating high-quality triplets consisting of synchronized audio, video, and textual descriptions. Comprehensive benchmark evaluations show that SkyReels-Audio achieves superior performance in lip-sync accuracy, identity consistency, and realistic facial dynamics, particularly under complex and challenging conditions.