SEE-2-SOUND: Entorno Espacial a Sonido Espacial en Modo Cero-Shot

SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound

June 6, 2024

Autores: Rishit Dagli, Shivesh Prakash, Robert Wu, Houman Khosravani

cs.AI

Resumen

La generación de experiencias sensoriales combinadas visuales y auditivas es fundamental para el consumo de contenido inmersivo. Los avances recientes en modelos generativos neuronales han permitido la creación de contenido de alta resolución en múltiples modalidades, como imágenes, texto, habla y videos. A pesar de estos éxitos, sigue existiendo una brecha significativa en la generación de audio espacial de alta calidad que complemente el contenido visual generado. Además, los modelos actuales de generación de audio sobresalen en la creación de audio natural, habla o música, pero no logran integrar las señales de audio espacial necesarias para experiencias inmersivas. En este trabajo, presentamos SEE-2-SOUND, un enfoque de cero disparos que descompone la tarea en (1) identificar regiones visuales de interés; (2) ubicar estos elementos en el espacio 3D; (3) generar audio mono para cada uno; y (4) integrarlos en audio espacial. Utilizando nuestro marco, demostramos resultados convincentes para la generación de audio espacial en videos de alta calidad, imágenes e imágenes dinámicas de internet, así como en medios generados por enfoques basados en aprendizaje.

English

Generating combined visual and auditory sensory experiences is critical for the consumption of immersive content. Recent advances in neural generative models have enabled the creation of high-resolution content across multiple modalities such as images, text, speech, and videos. Despite these successes, there remains a significant gap in the generation of high-quality spatial audio that complements generated visual content. Furthermore, current audio generation models excel in either generating natural audio or speech or music but fall short in integrating spatial audio cues necessary for immersive experiences. In this work, we introduce SEE-2-SOUND, a zero-shot approach that decomposes the task into (1) identifying visual regions of interest; (2) locating these elements in 3D space; (3) generating mono-audio for each; and (4) integrating them into spatial audio. Using our framework, we demonstrate compelling results for generating spatial audio for high-quality videos, images, and dynamic images from the internet, as well as media generated by learned approaches.