SpA2V: Benutten van ruimtelijke auditieve signalen voor audio-gestuurde ruimtelijk bewuste videogeneratie

SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation

August 1, 2025

Auteurs: Kien T. Pham, Yingqing He, Yazhou Xing, Qifeng Chen, Long Chen

cs.AI

Samenvatting

Audio-gestuurde videogeneratie heeft als doel realistische video's te synthetiseren die overeenkomen met ingevoerde audio-opnames, vergelijkbaar met het menselijk vermogen om scènes te visualiseren op basis van auditieve input. Bestaande benaderingen richten zich echter voornamelijk op het verkennen van semantische informatie, zoals de klassen van geluidsbronnen in de audio, wat hun vermogen beperkt om video's met nauwkeurige inhoud en ruimtelijke compositie te genereren. In tegenstelling hiermee kunnen wij mensen niet alleen natuurlijk de semantische categorieën van geluidsbronnen identificeren, maar ook hun diep gecodeerde ruimtelijke attributen bepalen, zoals locaties en bewegingsrichtingen. Deze nuttige informatie kan worden verhelderd door specifieke ruimtelijke indicatoren te overwegen die zijn afgeleid van de inherente fysieke eigenschappen van geluid, zoals luidheid of frequentie. Omdat eerdere methoden deze factor grotendeels negeren, presenteren wij SpA2V, het eerste framework dat expliciet gebruikmaakt van deze ruimtelijke auditieve signalen uit audio om video's met een hoge semantische en ruimtelijke overeenkomst te genereren. SpA2V deelt het generatieproces op in twee fasen: 1) Audio-gestuurde videoplanning: We passen een state-of-the-art MLLM nauwkeurig aan voor een nieuwe taak om ruimtelijke en semantische signalen uit de ingevoerde audio te benutten om Video Scene Layouts (VSL's) te construeren. Dit dient als een tussenliggende representatie om de kloof tussen de audio- en videomodaliteiten te overbruggen. 2) Layout-gestuurde videogeneratie: We ontwikkelen een efficiënte en effectieve aanpak om VSL's naadloos te integreren als conditionele begeleiding in vooraf getrainde diffusiemodellen, waardoor VSL-gestuurde videogeneratie op een trainingsvrije manier mogelijk wordt. Uitgebreide experimenten tonen aan dat SpA2V uitblinkt in het genereren van realistische video's met semantische en ruimtelijke afstemming op de ingevoerde audio's.

English

Audio-driven video generation aims to synthesize realistic videos that align with input audio recordings, akin to the human ability to visualize scenes from auditory input. However, existing approaches predominantly focus on exploring semantic information, such as the classes of sounding sources present in the audio, limiting their ability to generate videos with accurate content and spatial composition. In contrast, we humans can not only naturally identify the semantic categories of sounding sources but also determine their deeply encoded spatial attributes, including locations and movement directions. This useful information can be elucidated by considering specific spatial indicators derived from the inherent physical properties of sound, such as loudness or frequency. As prior methods largely ignore this factor, we present SpA2V, the first framework explicitly exploits these spatial auditory cues from audios to generate videos with high semantic and spatial correspondence. SpA2V decomposes the generation process into two stages: 1) Audio-guided Video Planning: We meticulously adapt a state-of-the-art MLLM for a novel task of harnessing spatial and semantic cues from input audio to construct Video Scene Layouts (VSLs). This serves as an intermediate representation to bridge the gap between the audio and video modalities. 2) Layout-grounded Video Generation: We develop an efficient and effective approach to seamlessly integrate VSLs as conditional guidance into pre-trained diffusion models, enabling VSL-grounded video generation in a training-free manner. Extensive experiments demonstrate that SpA2V excels in generating realistic videos with semantic and spatial alignment to the input audios.