Zähmung der Text-zu-Klang-Video-Generierung durch fortschrittliche Modalitätsbedingungen und Interaktion
Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction
October 3, 2025
papers.authors: Kaisi Guan, Xihua Wang, Zhengfeng Lai, Xin Cheng, Peng Zhang, XiaoJiang Liu, Ruihua Song, Meng Cao
cs.AI
papers.abstract
Diese Studie konzentriert sich auf eine herausfordernde, aber vielversprechende Aufgabe: die Text-zu-Klang-Video-Generierung (Text-to-Sounding-Video, T2SV), die darauf abzielt, ein Video mit synchronisiertem Audio aus Textbedingungen zu erzeugen und dabei sicherzustellen, dass beide Modalitäten mit dem Text abgestimmt sind. Trotz Fortschritten im gemeinsamen Audio-Video-Training bleiben zwei kritische Herausforderungen ungelöst: (1) Eine einzige, gemeinsame Textbeschreibung, bei der der Text für das Video dem Text für das Audio entspricht, führt oft zu modalitätsbedingten Interferenzen, die die vortrainierten Backbones verwirren, und (2) der optimale Mechanismus für die cross-modale Merkmalsinteraktion bleibt unklar. Um diese Herausforderungen zu bewältigen, schlagen wir zunächst das Hierarchical Visual-Grounded Captioning (HVGC)-Framework vor, das Paare von entflochtenen Beschreibungen erzeugt: eine Videobeschreibung und eine Audiobeschreibung, wodurch Interferenzen in der Konditionierungsphase beseitigt werden. Basierend auf HVGC führen wir weiterhin BridgeDiT ein, einen neuartigen Dual-Tower-Diffusion-Transformer, der einen Dual CrossAttention (DCA)-Mechanismus verwendet, der als robuste „Brücke“ fungiert, um einen symmetrischen, bidirektionalen Informationsaustausch zu ermöglichen und sowohl semantische als auch zeitliche Synchronisation zu erreichen. Umfangreiche Experimente auf drei Benchmark-Datensätzen, unterstützt durch menschliche Bewertungen, zeigen, dass unsere Methode bei den meisten Metriken state-of-the-art Ergebnisse erzielt. Umfassende Ablationsstudien validieren weiterhin die Wirksamkeit unserer Beiträge und bieten wichtige Erkenntnisse für die zukünftige T2SV-Aufgabe. Alle Codes und Checkpoints werden öffentlich zugänglich gemacht.
English
This study focuses on a challenging yet promising task,
Text-to-Sounding-Video (T2SV) generation, which aims to generate a video with
synchronized audio from text conditions, meanwhile ensuring both modalities are
aligned with text. Despite progress in joint audio-video training, two critical
challenges still remain unaddressed: (1) a single, shared text caption where
the text for video is equal to the text for audio often creates modal
interference, confusing the pretrained backbones, and (2) the optimal mechanism
for cross-modal feature interaction remains unclear. To address these
challenges, we first propose the Hierarchical Visual-Grounded Captioning (HVGC)
framework that generates pairs of disentangled captions, a video caption, and
an audio caption, eliminating interference at the conditioning stage. Based on
HVGC, we further introduce BridgeDiT, a novel dual-tower diffusion transformer,
which employs a Dual CrossAttention (DCA) mechanism that acts as a robust
``bridge" to enable a symmetric, bidirectional exchange of information,
achieving both semantic and temporal synchronization. Extensive experiments on
three benchmark datasets, supported by human evaluations, demonstrate that our
method achieves state-of-the-art results on most metrics. Comprehensive
ablation studies further validate the effectiveness of our contributions,
offering key insights for the future T2SV task. All the codes and checkpoints
will be publicly released.