SpA2V: Aproveitando Dicas Auditivas Espaciais para Geração de Vídeo Espacialmente Consciente Orientada por Áudio

SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation

August 1, 2025

Autores: Kien T. Pham, Yingqing He, Yazhou Xing, Qifeng Chen, Long Chen

cs.AI

Resumo

A geração de vídeo impulsionada por áudio visa sintetizar vídeos realistas que se alinhem com gravações de áudio de entrada, semelhante à capacidade humana de visualizar cenas a partir de estímulos auditivos. No entanto, as abordagens existentes concentram-se predominantemente em explorar informações semânticas, como as classes das fontes sonoras presentes no áudio, limitando sua capacidade de gerar vídeos com conteúdo preciso e composição espacial. Em contraste, nós, humanos, não apenas identificamos naturalmente as categorias semânticas das fontes sonoras, mas também determinamos seus atributos espaciais profundamente codificados, incluindo localizações e direções de movimento. Essa informação útil pode ser elucidada ao considerar indicadores espaciais específicos derivados das propriedades físicas inerentes do som, como volume ou frequência. Como os métodos anteriores ignoram amplamente esse fator, apresentamos o SpA2V, o primeiro framework que explora explicitamente essas pistas auditivas espaciais de áudios para gerar vídeos com alta correspondência semântica e espacial. O SpA2V decompõe o processo de geração em duas etapas: 1) Planejamento de Vídeo Guiado por Áudio: Adaptamos meticulosamente um MLLM (Modelo de Linguagem Multimodal) de última geração para uma nova tarefa de aproveitar pistas espaciais e semânticas do áudio de entrada para construir Layouts de Cena de Vídeo (VSLs). Isso serve como uma representação intermediária para preencher a lacuna entre as modalidades de áudio e vídeo. 2) Geração de Vídeo Baseada em Layout: Desenvolvemos uma abordagem eficiente e eficaz para integrar perfeitamente os VSLs como orientação condicional em modelos de difusão pré-treinados, permitindo a geração de vídeos baseada em VSLs de maneira livre de treinamento. Experimentos extensivos demonstram que o SpA2V se destaca na geração de vídeos realistas com alinhamento semântico e espacial aos áudios de entrada.

English

Audio-driven video generation aims to synthesize realistic videos that align with input audio recordings, akin to the human ability to visualize scenes from auditory input. However, existing approaches predominantly focus on exploring semantic information, such as the classes of sounding sources present in the audio, limiting their ability to generate videos with accurate content and spatial composition. In contrast, we humans can not only naturally identify the semantic categories of sounding sources but also determine their deeply encoded spatial attributes, including locations and movement directions. This useful information can be elucidated by considering specific spatial indicators derived from the inherent physical properties of sound, such as loudness or frequency. As prior methods largely ignore this factor, we present SpA2V, the first framework explicitly exploits these spatial auditory cues from audios to generate videos with high semantic and spatial correspondence. SpA2V decomposes the generation process into two stages: 1) Audio-guided Video Planning: We meticulously adapt a state-of-the-art MLLM for a novel task of harnessing spatial and semantic cues from input audio to construct Video Scene Layouts (VSLs). This serves as an intermediate representation to bridge the gap between the audio and video modalities. 2) Layout-grounded Video Generation: We develop an efficient and effective approach to seamlessly integrate VSLs as conditional guidance into pre-trained diffusion models, enabling VSL-grounded video generation in a training-free manner. Extensive experiments demonstrate that SpA2V excels in generating realistic videos with semantic and spatial alignment to the input audios.