SkyReels-Audio: Omni-Audio-konditionierte sprechende Porträts in Video-Diffusionstransformatoren
SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers
June 1, 2025
Autoren: Zhengcong Fei, Hao Jiang, Di Qiu, Baoxuan Gu, Youqiang Zhang, Jiahua Wang, Jialin Bai, Debang Li, Mingyuan Fan, Guibin Chen, Yahui Zhou
cs.AI
Zusammenfassung
Die Erzeugung und Bearbeitung von audiogesteuerten Sprechporträts, die durch multimodale Eingaben wie Text, Bilder und Videos geleitet werden, ist nach wie vor wenig erforscht. In diesem Artikel stellen wir SkyReels-Audio vor, ein einheitliches Framework zur Synthese von hochauflösenden und zeitlich kohärenten Sprechporträt-Videos. Basierend auf vortrainierten Video-Diffusion-Transformatoren unterstützt unser Framework die Erzeugung und Bearbeitung von unendlich langen Sequenzen und ermöglicht dabei eine vielfältige und kontrollierbare Steuerung durch multimodale Eingaben. Wir verwenden eine hybride Curriculum-Learning-Strategie, um Audio schrittweise mit Gesichtsbewegungen abzustimmen, was eine fein abgestimmte multimodale Steuerung über lange Videosequenzen ermöglicht. Um die lokale Gesichtskohärenz zu verbessern, führen wir einen Gesichtsmaskenverlust und einen audiogesteuerten Classifier-Free-Guidance-Mechanismus ein. Ein Sliding-Window-Denoising-Ansatz fusioniert zudem latente Darstellungen über temporale Segmente hinweg und gewährleistet so visuelle Qualität und zeitliche Konsistenz über längere Zeiträume und verschiedene Identitäten hinweg. Noch wichtiger ist, dass wir eine spezielle Datenpipeline für die Kuratierung hochwertiger Tripel bestehend aus synchronisiertem Audio, Video und Textbeschreibungen entwickeln. Umfassende Benchmark-Auswertungen zeigen, dass SkyReels-Audio eine überlegene Leistung in Bezug auf Lippensynchronität, Identitätskonsistenz und realistische Gesichtsdynamik erzielt, insbesondere unter komplexen und anspruchsvollen Bedingungen.
English
The generation and editing of audio-conditioned talking portraits guided by
multimodal inputs, including text, images, and videos, remains under explored.
In this paper, we present SkyReels-Audio, a unified framework for synthesizing
high-fidelity and temporally coherent talking portrait videos. Built upon
pretrained video diffusion transformers, our framework supports infinite-length
generation and editing, while enabling diverse and controllable conditioning
through multimodal inputs. We employ a hybrid curriculum learning strategy to
progressively align audio with facial motion, enabling fine-grained multimodal
control over long video sequences. To enhance local facial coherence, we
introduce a facial mask loss and an audio-guided classifier-free guidance
mechanism. A sliding-window denoising approach further fuses latent
representations across temporal segments, ensuring visual fidelity and temporal
consistency across extended durations and diverse identities. More importantly,
we construct a dedicated data pipeline for curating high-quality triplets
consisting of synchronized audio, video, and textual descriptions.
Comprehensive benchmark evaluations show that SkyReels-Audio achieves superior
performance in lip-sync accuracy, identity consistency, and realistic facial
dynamics, particularly under complex and challenging conditions.