SpA2V: Sfruttare i segnali uditivi spaziali per la generazione di video guidati dall'audio con consapevolezza spaziale

SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation

August 1, 2025

Autori: Kien T. Pham, Yingqing He, Yazhou Xing, Qifeng Chen, Long Chen

cs.AI

Abstract

La generazione di video guidata dall'audio mira a sintetizzare video realistici che si allineano con registrazioni audio in ingresso, simile alla capacità umana di visualizzare scene a partire da input uditivi. Tuttavia, gli approcci esistenti si concentrano prevalentemente sull'esplorazione di informazioni semantiche, come le classi delle sorgenti sonore presenti nell'audio, limitando la loro capacità di generare video con contenuti accurati e composizione spaziale. Al contrario, noi esseri umani non solo possiamo identificare naturalmente le categorie semantiche delle sorgenti sonore, ma anche determinarne gli attributi spaziali profondamente codificati, inclusi posizioni e direzioni di movimento. Queste informazioni utili possono essere chiarite considerando indicatori spaziali specifici derivati dalle proprietà fisiche intrinseche del suono, come il volume o la frequenza. Poiché i metodi precedenti ignorano largamente questo fattore, presentiamo SpA2V, il primo framework che sfrutta esplicitamente questi indizi uditivi spaziali dagli audio per generare video con una corrispondenza semantica e spaziale elevata. SpA2V scompone il processo di generazione in due fasi: 1) Pianificazione del Video Guidata dall'Audio: Adattiamo meticolosamente un MLLM all'avanguardia per un nuovo compito di sfruttamento degli indizi spaziali e semantici dall'audio in ingresso per costruire Layout di Scene Video (VSL). Questo serve come rappresentazione intermedia per colmare il divario tra le modalità audio e video. 2) Generazione del Video Basata sul Layout: Sviluppiamo un approccio efficiente ed efficace per integrare in modo fluido i VSL come guida condizionale in modelli di diffusione pre-addestrati, consentendo la generazione di video basata sui VSL in modo privo di addestramento. Esperimenti estensivi dimostrano che SpA2V eccelle nella generazione di video realistici con allineamento semantico e spaziale rispetto agli audio in ingresso.

English

Audio-driven video generation aims to synthesize realistic videos that align with input audio recordings, akin to the human ability to visualize scenes from auditory input. However, existing approaches predominantly focus on exploring semantic information, such as the classes of sounding sources present in the audio, limiting their ability to generate videos with accurate content and spatial composition. In contrast, we humans can not only naturally identify the semantic categories of sounding sources but also determine their deeply encoded spatial attributes, including locations and movement directions. This useful information can be elucidated by considering specific spatial indicators derived from the inherent physical properties of sound, such as loudness or frequency. As prior methods largely ignore this factor, we present SpA2V, the first framework explicitly exploits these spatial auditory cues from audios to generate videos with high semantic and spatial correspondence. SpA2V decomposes the generation process into two stages: 1) Audio-guided Video Planning: We meticulously adapt a state-of-the-art MLLM for a novel task of harnessing spatial and semantic cues from input audio to construct Video Scene Layouts (VSLs). This serves as an intermediate representation to bridge the gap between the audio and video modalities. 2) Layout-grounded Video Generation: We develop an efficient and effective approach to seamlessly integrate VSLs as conditional guidance into pre-trained diffusion models, enabling VSL-grounded video generation in a training-free manner. Extensive experiments demonstrate that SpA2V excels in generating realistic videos with semantic and spatial alignment to the input audios.