Управление генерацией видео из текста с помощью продвинутых условий модальности и взаимодействия
Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction
October 3, 2025
Авторы: Kaisi Guan, Xihua Wang, Zhengfeng Lai, Xin Cheng, Peng Zhang, XiaoJiang Liu, Ruihua Song, Meng Cao
cs.AI
Аннотация
Данное исследование посвящено сложной, но перспективной задаче генерации видео со звуком на основе текста (Text-to-Sounding-Video, T2SV), которая заключается в создании видео с синхронизированным аудио на основе текстовых условий, обеспечивая при этом согласованность обеих модальностей с текстом. Несмотря на прогресс в совместном обучении аудио и видео, две ключевые проблемы остаются нерешенными: (1) использование единого общего текстового описания, где текст для видео совпадает с текстом для аудио, часто вызывает модальную интерференцию, что сбивает с толку предобученные модели, и (2) оптимальный механизм взаимодействия кросс-модальных признаков остается неясным. Для решения этих проблем мы сначала предлагаем иерархическую структуру визуально-обоснованного описания (Hierarchical Visual-Grounded Captioning, HVGC), которая генерирует пары разделенных описаний — для видео и для аудио, устраняя интерференцию на этапе формирования условий. На основе HVGC мы также представляем BridgeDiT, новый двубашенный диффузионный трансформер, который использует механизм Dual CrossAttention (DCA), выступающий в роли надежного «моста» для симметричного двунаправленного обмена информацией, достигая как семантической, так и временной синхронизации. Масштабные эксперименты на трех эталонных наборах данных, подкрепленные оценками людей, демонстрируют, что наш метод достигает наилучших результатов по большинству метрик. Всесторонние исследования с исключением компонентов дополнительно подтверждают эффективность наших предложений, предоставляя ключевые идеи для будущих задач T2SV. Все коды и контрольные точки будут опубликованы в открытом доступе.
English
This study focuses on a challenging yet promising task,
Text-to-Sounding-Video (T2SV) generation, which aims to generate a video with
synchronized audio from text conditions, meanwhile ensuring both modalities are
aligned with text. Despite progress in joint audio-video training, two critical
challenges still remain unaddressed: (1) a single, shared text caption where
the text for video is equal to the text for audio often creates modal
interference, confusing the pretrained backbones, and (2) the optimal mechanism
for cross-modal feature interaction remains unclear. To address these
challenges, we first propose the Hierarchical Visual-Grounded Captioning (HVGC)
framework that generates pairs of disentangled captions, a video caption, and
an audio caption, eliminating interference at the conditioning stage. Based on
HVGC, we further introduce BridgeDiT, a novel dual-tower diffusion transformer,
which employs a Dual CrossAttention (DCA) mechanism that acts as a robust
``bridge" to enable a symmetric, bidirectional exchange of information,
achieving both semantic and temporal synchronization. Extensive experiments on
three benchmark datasets, supported by human evaluations, demonstrate that our
method achieves state-of-the-art results on most metrics. Comprehensive
ablation studies further validate the effectiveness of our contributions,
offering key insights for the future T2SV task. All the codes and checkpoints
will be publicly released.