SpA2V : Exploitation des indices auditifs spatiaux pour la génération de vidéos spatialement conscientes pilotées par l'audio

SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation

August 1, 2025

papers.authors: Kien T. Pham, Yingqing He, Yazhou Xing, Qifeng Chen, Long Chen

cs.AI

papers.abstract

La génération de vidéos pilotée par l'audio vise à synthétiser des vidéos réalistes qui s'alignent sur des enregistrements audio en entrée, similairement à la capacité humaine à visualiser des scènes à partir d'entrées auditives. Cependant, les approches existantes se concentrent principalement sur l'exploration d'informations sémantiques, telles que les classes des sources sonores présentes dans l'audio, limitant ainsi leur capacité à générer des vidéos avec un contenu et une composition spatiale précis. En revanche, nous, humains, pouvons non seulement identifier naturellement les catégories sémantiques des sources sonores, mais aussi déterminer leurs attributs spatiaux profondément encodés, y compris leurs positions et directions de mouvement. Ces informations utiles peuvent être élucidées en considérant des indicateurs spatiaux spécifiques dérivés des propriétés physiques inhérentes au son, telles que l'intensité ou la fréquence. Comme les méthodes précédentes ignorent largement ce facteur, nous présentons SpA2V, le premier cadre qui exploite explicitement ces indices auditifs spatiaux à partir de l'audio pour générer des vidéos avec une correspondance sémantique et spatiale élevée. SpA2V décompose le processus de génération en deux étapes : 1) Planification de vidéo guidée par l'audio : Nous adaptons méticuleusement un MLLM de pointe pour une nouvelle tâche consistant à exploiter les indices spatiaux et sémantiques de l'audio en entrée pour construire des Dispositions de Scène Vidéo (VSL). Cela sert de représentation intermédiaire pour combler le fossé entre les modalités audio et vidéo. 2) Génération de vidéo ancrée dans la disposition : Nous développons une approche efficace et efficiente pour intégrer de manière transparente les VSL comme guide conditionnel dans des modèles de diffusion pré-entraînés, permettant ainsi une génération de vidéo ancrée dans les VSL sans nécessiter d'entraînement supplémentaire. Des expériences approfondies démontrent que SpA2V excelle dans la génération de vidéos réalistes avec un alignement sémantique et spatial par rapport aux audios en entrée.

English

Audio-driven video generation aims to synthesize realistic videos that align with input audio recordings, akin to the human ability to visualize scenes from auditory input. However, existing approaches predominantly focus on exploring semantic information, such as the classes of sounding sources present in the audio, limiting their ability to generate videos with accurate content and spatial composition. In contrast, we humans can not only naturally identify the semantic categories of sounding sources but also determine their deeply encoded spatial attributes, including locations and movement directions. This useful information can be elucidated by considering specific spatial indicators derived from the inherent physical properties of sound, such as loudness or frequency. As prior methods largely ignore this factor, we present SpA2V, the first framework explicitly exploits these spatial auditory cues from audios to generate videos with high semantic and spatial correspondence. SpA2V decomposes the generation process into two stages: 1) Audio-guided Video Planning: We meticulously adapt a state-of-the-art MLLM for a novel task of harnessing spatial and semantic cues from input audio to construct Video Scene Layouts (VSLs). This serves as an intermediate representation to bridge the gap between the audio and video modalities. 2) Layout-grounded Video Generation: We develop an efficient and effective approach to seamlessly integrate VSLs as conditional guidance into pre-trained diffusion models, enabling VSL-grounded video generation in a training-free manner. Extensive experiments demonstrate that SpA2V excels in generating realistic videos with semantic and spatial alignment to the input audios.