SkyReels-Audio: オムニオーディオ条件付きビデオ内会話ポートレート Diffusion Transformers
SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers
June 1, 2025
著者: Zhengcong Fei, Hao Jiang, Di Qiu, Baoxuan Gu, Youqiang Zhang, Jiahua Wang, Jialin Bai, Debang Li, Mingyuan Fan, Guibin Chen, Yahui Zhou
cs.AI
要旨
音声条件付きの話し手ポートレートの生成と編集は、テキスト、画像、動画などのマルチモーダル入力をガイドとして用いることで、まだ十分に探求されていない領域である。本論文では、高精細で時間的に一貫性のある話し手ポートレート動画を合成するための統一フレームワークであるSkyReels-Audioを提案する。事前学習済みのビデオ拡散トランスフォーマーを基盤として構築された本フレームワークは、無限長の生成と編集をサポートし、マルチモーダル入力による多様で制御可能な条件付けを可能にする。我々は、音声と顔の動きを段階的に整合させるためのハイブリッドカリキュラム学習戦略を採用し、長い動画シーケンスに対するきめ細かいマルチモーダル制御を実現する。局所的な顔の一貫性を向上させるために、顔マスク損失と音声ガイド付きのクラス分類不要ガイダンスメカニズムを導入した。さらに、スライディングウィンドウデノイジングアプローチにより、時間セグメント間の潜在表現を融合させ、長時間および多様なアイデンティティにわたる視覚的忠実度と時間的一貫性を確保する。特に重要なのは、同期された音声、動画、テキスト記述からなる高品質なトリプレットをキュレーションするための専用データパイプラインを構築したことである。包括的なベンチマーク評価により、SkyReels-Audioは、特に複雑で困難な条件下において、リップシンクの精度、アイデンティティの一貫性、現実的な顔のダイナミクスにおいて優れた性能を達成することが示された。
English
The generation and editing of audio-conditioned talking portraits guided by
multimodal inputs, including text, images, and videos, remains under explored.
In this paper, we present SkyReels-Audio, a unified framework for synthesizing
high-fidelity and temporally coherent talking portrait videos. Built upon
pretrained video diffusion transformers, our framework supports infinite-length
generation and editing, while enabling diverse and controllable conditioning
through multimodal inputs. We employ a hybrid curriculum learning strategy to
progressively align audio with facial motion, enabling fine-grained multimodal
control over long video sequences. To enhance local facial coherence, we
introduce a facial mask loss and an audio-guided classifier-free guidance
mechanism. A sliding-window denoising approach further fuses latent
representations across temporal segments, ensuring visual fidelity and temporal
consistency across extended durations and diverse identities. More importantly,
we construct a dedicated data pipeline for curating high-quality triplets
consisting of synchronized audio, video, and textual descriptions.
Comprehensive benchmark evaluations show that SkyReels-Audio achieves superior
performance in lip-sync accuracy, identity consistency, and realistic facial
dynamics, particularly under complex and challenging conditions.