SpA2V: Aprovechamiento de señales auditivas espaciales para la generación de videos espacialmente conscientes impulsados por audio

SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation

August 1, 2025

Autores: Kien T. Pham, Yingqing He, Yazhou Xing, Qifeng Chen, Long Chen

cs.AI

Resumen

La generación de vídeo impulsada por audio tiene como objetivo sintetizar vídeos realistas que se alineen con grabaciones de audio de entrada, similar a la capacidad humana de visualizar escenas a partir de entradas auditivas. Sin embargo, los enfoques existentes se centran predominantemente en explorar información semántica, como las clases de fuentes sonoras presentes en el audio, lo que limita su capacidad para generar vídeos con contenido preciso y composición espacial. En contraste, los humanos no solo podemos identificar naturalmente las categorías semánticas de las fuentes sonoras, sino también determinar sus atributos espaciales profundamente codificados, incluyendo ubicaciones y direcciones de movimiento. Esta información útil puede elucidarse considerando indicadores espaciales específicos derivados de las propiedades físicas inherentes del sonido, como el volumen o la frecuencia. Dado que los métodos anteriores ignoran en gran medida este factor, presentamos SpA2V, el primer marco que explota explícitamente estas pistas auditivas espaciales de los audios para generar vídeos con alta correspondencia semántica y espacial. SpA2V descompone el proceso de generación en dos etapas: 1) Planificación de Vídeo Guiada por Audio: Adaptamos meticulosamente un MLLM de última generación para una nueva tarea de aprovechar pistas espaciales y semánticas del audio de entrada para construir Diseños de Escenas de Vídeo (VSLs). Esto sirve como una representación intermedia para cerrar la brecha entre las modalidades de audio y vídeo. 2) Generación de Vídeo Basada en Diseño: Desarrollamos un enfoque eficiente y efectivo para integrar sin problemas los VSLs como guía condicional en modelos de difusión preentrenados, permitiendo la generación de vídeos basados en VSLs de manera libre de entrenamiento. Experimentos extensos demuestran que SpA2V sobresale en la generación de vídeos realistas con alineación semántica y espacial con los audios de entrada.

English

Audio-driven video generation aims to synthesize realistic videos that align with input audio recordings, akin to the human ability to visualize scenes from auditory input. However, existing approaches predominantly focus on exploring semantic information, such as the classes of sounding sources present in the audio, limiting their ability to generate videos with accurate content and spatial composition. In contrast, we humans can not only naturally identify the semantic categories of sounding sources but also determine their deeply encoded spatial attributes, including locations and movement directions. This useful information can be elucidated by considering specific spatial indicators derived from the inherent physical properties of sound, such as loudness or frequency. As prior methods largely ignore this factor, we present SpA2V, the first framework explicitly exploits these spatial auditory cues from audios to generate videos with high semantic and spatial correspondence. SpA2V decomposes the generation process into two stages: 1) Audio-guided Video Planning: We meticulously adapt a state-of-the-art MLLM for a novel task of harnessing spatial and semantic cues from input audio to construct Video Scene Layouts (VSLs). This serves as an intermediate representation to bridge the gap between the audio and video modalities. 2) Layout-grounded Video Generation: We develop an efficient and effective approach to seamlessly integrate VSLs as conditional guidance into pre-trained diffusion models, enabling VSL-grounded video generation in a training-free manner. Extensive experiments demonstrate that SpA2V excels in generating realistic videos with semantic and spatial alignment to the input audios.