SpA2V: Использование пространственных слуховых сигналов для аудио-управляемой генерации пространственно-осознанного видео

SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation

August 1, 2025

Авторы: Kien T. Pham, Yingqing He, Yazhou Xing, Qifeng Chen, Long Chen

cs.AI

Аннотация

Генерация видео на основе аудио направлена на синтез реалистичных видеороликов, которые соответствуют входным аудиозаписям, подобно способности человека визуализировать сцены на основе звуковой информации. Однако существующие подходы в основном сосредоточены на исследовании семантической информации, такой как классы звучащих источников, присутствующих в аудио, что ограничивает их способность генерировать видео с точным содержанием и пространственной композицией. В отличие от этого, люди не только естественным образом определяют семантические категории звучащих источников, но также могут распознавать их глубоко закодированные пространственные атрибуты, включая местоположение и направление движения. Эта полезная информация может быть выявлена путем рассмотрения специфических пространственных индикаторов, вытекающих из физических свойств звука, таких как громкость или частота. Поскольку предыдущие методы в значительной степени игнорируют этот фактор, мы представляем SpA2V — первую структуру, которая явно использует эти пространственные аудиокомпоненты для генерации видео с высокой семантической и пространственной согласованностью. SpA2V разбивает процесс генерации на два этапа: 1) Планирование видео на основе аудио: Мы тщательно адаптируем современную MLLM для новой задачи использования пространственных и семантических сигналов из входного аудио для создания макетов видеосцен (VSL). Это служит промежуточным представлением для преодоления разрыва между аудио и видео модальностями. 2) Генерация видео на основе макета: Мы разрабатываем эффективный подход для бесшовной интеграции VSL в качестве условного руководства в предварительно обученные диффузионные модели, что позволяет генерировать видео на основе VSL без дополнительного обучения. Многочисленные эксперименты демонстрируют, что SpA2V превосходно справляется с созданием реалистичных видео, семантически и пространственно согласованных с входными аудиозаписями.

English

Audio-driven video generation aims to synthesize realistic videos that align with input audio recordings, akin to the human ability to visualize scenes from auditory input. However, existing approaches predominantly focus on exploring semantic information, such as the classes of sounding sources present in the audio, limiting their ability to generate videos with accurate content and spatial composition. In contrast, we humans can not only naturally identify the semantic categories of sounding sources but also determine their deeply encoded spatial attributes, including locations and movement directions. This useful information can be elucidated by considering specific spatial indicators derived from the inherent physical properties of sound, such as loudness or frequency. As prior methods largely ignore this factor, we present SpA2V, the first framework explicitly exploits these spatial auditory cues from audios to generate videos with high semantic and spatial correspondence. SpA2V decomposes the generation process into two stages: 1) Audio-guided Video Planning: We meticulously adapt a state-of-the-art MLLM for a novel task of harnessing spatial and semantic cues from input audio to construct Video Scene Layouts (VSLs). This serves as an intermediate representation to bridge the gap between the audio and video modalities. 2) Layout-grounded Video Generation: We develop an efficient and effective approach to seamlessly integrate VSLs as conditional guidance into pre-trained diffusion models, enabling VSL-grounded video generation in a training-free manner. Extensive experiments demonstrate that SpA2V excels in generating realistic videos with semantic and spatial alignment to the input audios.