SEE-2-SOUND : Génération de son spatial à partir d'environnement spatial en zero-shot

SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound

June 6, 2024

Auteurs: Rishit Dagli, Shivesh Prakash, Robert Wu, Houman Khosravani

cs.AI

Résumé

La génération d'expériences sensorielles combinant visuel et auditif est essentielle pour la consommation de contenus immersifs. Les récents progrès des modèles génératifs neuronaux ont permis la création de contenus haute résolution couvrant plusieurs modalités telles que les images, le texte, la parole et les vidéos. Malgré ces succès, il subsiste un écart important dans la génération d'audio spatial de haute qualité qui complète le contenu visuel généré. De plus, les modèles actuels de génération audio excellent soit dans la production d'audio naturel, de parole ou de musique, mais peinent à intégrer les indices audio spatiaux nécessaires pour des expériences immersives. Dans ce travail, nous présentons SEE-2-SOUND, une approche zero-shot qui décompose la tâche en (1) l'identification des régions visuelles d'intérêt ; (2) leur localisation dans l'espace 3D ; (3) la génération d'audio mono pour chacune ; et (4) leur intégration en audio spatial. Grâce à notre cadre, nous démontrons des résultats convaincants pour la génération d'audio spatial à partir de vidéos haute qualité, d'images, d'images dynamiques provenant d'internet, ainsi que de médias générés par des approches apprises.

English

Generating combined visual and auditory sensory experiences is critical for the consumption of immersive content. Recent advances in neural generative models have enabled the creation of high-resolution content across multiple modalities such as images, text, speech, and videos. Despite these successes, there remains a significant gap in the generation of high-quality spatial audio that complements generated visual content. Furthermore, current audio generation models excel in either generating natural audio or speech or music but fall short in integrating spatial audio cues necessary for immersive experiences. In this work, we introduce SEE-2-SOUND, a zero-shot approach that decomposes the task into (1) identifying visual regions of interest; (2) locating these elements in 3D space; (3) generating mono-audio for each; and (4) integrating them into spatial audio. Using our framework, we demonstrate compelling results for generating spatial audio for high-quality videos, images, and dynamic images from the internet, as well as media generated by learned approaches.