SkyReels-Audio: Видеопортреты с универсальным аудио-условием на основе диффузионных трансформеров

SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers

June 1, 2025

Авторы: Zhengcong Fei, Hao Jiang, Di Qiu, Baoxuan Gu, Youqiang Zhang, Jiahua Wang, Jialin Bai, Debang Li, Mingyuan Fan, Guibin Chen, Yahui Zhou

cs.AI

Аннотация

Генерация и редактирование портретов, говорящих под управлением аудио, с использованием мультимодальных входных данных, включая текст, изображения и видео, остаются недостаточно изученными. В данной статье мы представляем SkyReels-Audio — унифицированную платформу для синтеза высококачественных и временно согласованных видео с говорящими портретами. Основанная на предобученных трансформерах для видео, наша платформа поддерживает генерацию и редактирование неограниченной длины, обеспечивая разнообразное и контролируемое управление через мультимодальные входные данные. Мы применяем гибридную стратегию обучения с постепенным выравниванием аудио с мимикой лица, что позволяет осуществлять детализированное мультимодальное управление длинными видео последовательностями. Для улучшения локальной согласованности мимики мы вводим функцию потерь на основе маски лица и механизм классификатор-свободного управления, ориентированный на аудио. Подход к денизингу с использованием скользящего окна дополнительно объединяет латентные представления между временными сегментами, обеспечивая визуальную точность и временную согласованность на протяжении длительных периодов и для различных идентичностей. Более того, мы создаем специализированный конвейер данных для подготовки высококачественных триплетов, состоящих из синхронизированных аудио, видео и текстовых описаний. Комплексные бенчмарк-оценки показывают, что SkyReels-Audio демонстрирует превосходные результаты в точности синхронизации губ, согласованности идентичности и реалистичности мимики, особенно в сложных и требовательных условиях.

English

The generation and editing of audio-conditioned talking portraits guided by multimodal inputs, including text, images, and videos, remains under explored. In this paper, we present SkyReels-Audio, a unified framework for synthesizing high-fidelity and temporally coherent talking portrait videos. Built upon pretrained video diffusion transformers, our framework supports infinite-length generation and editing, while enabling diverse and controllable conditioning through multimodal inputs. We employ a hybrid curriculum learning strategy to progressively align audio with facial motion, enabling fine-grained multimodal control over long video sequences. To enhance local facial coherence, we introduce a facial mask loss and an audio-guided classifier-free guidance mechanism. A sliding-window denoising approach further fuses latent representations across temporal segments, ensuring visual fidelity and temporal consistency across extended durations and diverse identities. More importantly, we construct a dedicated data pipeline for curating high-quality triplets consisting of synchronized audio, video, and textual descriptions. Comprehensive benchmark evaluations show that SkyReels-Audio achieves superior performance in lip-sync accuracy, identity consistency, and realistic facial dynamics, particularly under complex and challenging conditions.