高度なモダリティ条件とインタラクションによるテキストから音声付き動画生成の制御
Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction
October 3, 2025
著者: Kaisi Guan, Xihua Wang, Zhengfeng Lai, Xin Cheng, Peng Zhang, XiaoJiang Liu, Ruihua Song, Meng Cao
cs.AI
要旨
本研究は、テキストから同期した音声付き動画を生成するという、挑戦的でありながら有望なタスクであるText-to-Sounding-Video（T2SV）生成に焦点を当てる。このタスクでは、テキスト条件に基づいて動画と音声を生成し、両モダリティがテキストと整合することを保証する。音声と動画の共同学習における進展にもかかわらず、以下の2つの重要な課題が未解決のまま残されている：（1）動画と音声のテキストが同一である単一の共有テキストキャプションは、モダリティ間の干渉を引き起こし、事前学習済みバックボーンを混乱させることがある。（2）クロスモーダル特徴間の最適な相互作用メカニズムが不明確である。これらの課題に対処するため、まず、干渉を排除するために、動画キャプションと音声キャプションのペアを生成する階層的視覚基盤型キャプショニング（HVGC）フレームワークを提案する。HVGCに基づき、さらに、双方向の情報交換を可能にする堅牢な「橋渡し」として機能するDual CrossAttention（DCA）メカニズムを採用した新規のデュアルタワーディフュージョントランスフォーマーであるBridgeDiTを導入する。これにより、意味的および時間的な同期を実現する。3つのベンチマークデータセットを用いた広範な実験と人間による評価により、本手法がほとんどの指標で最先端の結果を達成することが示された。包括的なアブレーション研究により、本提案の有効性がさらに検証され、今後のT2SVタスクに対する重要な洞察が提供される。すべてのコードとチェックポイントは公開される予定である。
English
This study focuses on a challenging yet promising task,
Text-to-Sounding-Video (T2SV) generation, which aims to generate a video with
synchronized audio from text conditions, meanwhile ensuring both modalities are
aligned with text. Despite progress in joint audio-video training, two critical
challenges still remain unaddressed: (1) a single, shared text caption where
the text for video is equal to the text for audio often creates modal
interference, confusing the pretrained backbones, and (2) the optimal mechanism
for cross-modal feature interaction remains unclear. To address these
challenges, we first propose the Hierarchical Visual-Grounded Captioning (HVGC)
framework that generates pairs of disentangled captions, a video caption, and
an audio caption, eliminating interference at the conditioning stage. Based on
HVGC, we further introduce BridgeDiT, a novel dual-tower diffusion transformer,
which employs a Dual CrossAttention (DCA) mechanism that acts as a robust
``bridge" to enable a symmetric, bidirectional exchange of information,
achieving both semantic and temporal synchronization. Extensive experiments on
three benchmark datasets, supported by human evaluations, demonstrate that our
method achieves state-of-the-art results on most metrics. Comprehensive
ablation studies further validate the effectiveness of our contributions,
offering key insights for the future T2SV task. All the codes and checkpoints
will be publicly released.