Het temmen van tekst-naar-geluid-video-generatie via geavanceerde modaliteitsconditie en interactie
Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction
October 3, 2025
Auteurs: Kaisi Guan, Xihua Wang, Zhengfeng Lai, Xin Cheng, Peng Zhang, XiaoJiang Liu, Ruihua Song, Meng Cao
cs.AI
Samenvatting
Deze studie richt zich op een uitdagende maar veelbelovende taak, Text-to-Sounding-Video (T2SV) generatie, die als doel heeft een video met gesynchroniseerde audio te genereren op basis van tekstcondities, waarbij beide modaliteiten afgestemd zijn op de tekst. Ondanks vooruitgang in gezamenlijke audio-video training, blijven twee kritieke uitdagingen onopgelost: (1) een enkele, gedeelde tekstbeschrijving waarbij de tekst voor de video gelijk is aan de tekst voor de audio veroorzaakt vaak modale interferentie, wat de voorgetrainde backbones verwart, en (2) het optimale mechanisme voor kruismodale feature-interactie blijft onduidelijk. Om deze uitdagingen aan te pakken, stellen we eerst het Hierarchical Visual-Grounded Captioning (HVGC) framework voor, dat paren van ontvlochten beschrijvingen genereert, een videobeschrijving en een audiobeschrijving, waardoor interferentie in de conditioneringsfase wordt geëlimineerd. Op basis van HVGC introduceren we verder BridgeDiT, een nieuwe dual-tower diffusie transformer, die een Dual CrossAttention (DCA) mechanisme gebruikt dat fungeert als een robuuste "brug" om een symmetrische, bidirectionele uitwisseling van informatie mogelijk te maken, waardoor zowel semantische als temporele synchronisatie wordt bereikt. Uitgebreide experimenten op drie benchmark datasets, ondersteund door menselijke evaluaties, tonen aan dat onze methode state-of-the-art resultaten behaalt op de meeste metrieken. Uitgebreide ablatiestudies valideren verder de effectiviteit van onze bijdragen en bieden belangrijke inzichten voor de toekomstige T2SV-taak. Alle codes en checkpoints zullen openbaar worden vrijgegeven.
English
This study focuses on a challenging yet promising task,
Text-to-Sounding-Video (T2SV) generation, which aims to generate a video with
synchronized audio from text conditions, meanwhile ensuring both modalities are
aligned with text. Despite progress in joint audio-video training, two critical
challenges still remain unaddressed: (1) a single, shared text caption where
the text for video is equal to the text for audio often creates modal
interference, confusing the pretrained backbones, and (2) the optimal mechanism
for cross-modal feature interaction remains unclear. To address these
challenges, we first propose the Hierarchical Visual-Grounded Captioning (HVGC)
framework that generates pairs of disentangled captions, a video caption, and
an audio caption, eliminating interference at the conditioning stage. Based on
HVGC, we further introduce BridgeDiT, a novel dual-tower diffusion transformer,
which employs a Dual CrossAttention (DCA) mechanism that acts as a robust
``bridge" to enable a symmetric, bidirectional exchange of information,
achieving both semantic and temporal synchronization. Extensive experiments on
three benchmark datasets, supported by human evaluations, demonstrate that our
method achieves state-of-the-art results on most metrics. Comprehensive
ablation studies further validate the effectiveness of our contributions,
offering key insights for the future T2SV task. All the codes and checkpoints
will be publicly released.