SEE-2-SOUND: Zero-Shot Ruimtelijke Omgeving naar Ruimtelijk Geluid

SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound

June 6, 2024

Auteurs: Rishit Dagli, Shivesh Prakash, Robert Wu, Houman Khosravani

cs.AI

Samenvatting

Het genereren van gecombineerde visuele en auditieve zintuiglijke ervaringen is cruciaal voor het consumeren van immersieve content. Recente vooruitgang in neurale generatieve modellen heeft het mogelijk gemaakt om hoogwaardige content te creëren in meerdere modaliteiten, zoals afbeeldingen, tekst, spraak en video's. Ondanks deze successen bestaat er nog steeds een aanzienlijke kloof in het genereren van hoogwaardige ruimtelijke audio die gegenereerde visuele content aanvult. Bovendien excelleren huidige audiogeneratiemodellen in het genereren van natuurlijke audio, spraak of muziek, maar schieten ze tekort in het integreren van ruimtelijke audiocues die nodig zijn voor immersieve ervaringen. In dit werk introduceren we SEE-2-SOUND, een zero-shot benadering die de taak opsplitst in (1) het identificeren van visuele interessegebieden; (2) het lokaliseren van deze elementen in 3D-ruimte; (3) het genereren van mono-audio voor elk; en (4) het integreren ervan in ruimtelijke audio. Met ons framework demonstreren we overtuigende resultaten voor het genereren van ruimtelijke audio voor hoogwaardige video's, afbeeldingen en dynamische afbeeldingen van het internet, evenals media gegenereerd door geleerde benaderingen.

English

Generating combined visual and auditory sensory experiences is critical for the consumption of immersive content. Recent advances in neural generative models have enabled the creation of high-resolution content across multiple modalities such as images, text, speech, and videos. Despite these successes, there remains a significant gap in the generation of high-quality spatial audio that complements generated visual content. Furthermore, current audio generation models excel in either generating natural audio or speech or music but fall short in integrating spatial audio cues necessary for immersive experiences. In this work, we introduce SEE-2-SOUND, a zero-shot approach that decomposes the task into (1) identifying visual regions of interest; (2) locating these elements in 3D space; (3) generating mono-audio for each; and (4) integrating them into spatial audio. Using our framework, we demonstrate compelling results for generating spatial audio for high-quality videos, images, and dynamic images from the internet, as well as media generated by learned approaches.