SEE-2-SOUND: Ambiente Spaziale a Suono Spaziale in Modalità Zero-Shot

SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound

June 6, 2024

Autori: Rishit Dagli, Shivesh Prakash, Robert Wu, Houman Khosravani

cs.AI

Abstract

La generazione di esperienze sensoriali combinate visive e uditive è fondamentale per il consumo di contenuti immersivi. I recenti progressi nei modelli generativi neurali hanno permesso la creazione di contenuti ad alta risoluzione attraverso molteplici modalità, come immagini, testo, parlato e video. Nonostante questi successi, rimane un divario significativo nella generazione di audio spaziale di alta qualità che completi il contenuto visivo generato. Inoltre, gli attuali modelli di generazione audio eccellono nella creazione di audio naturale, parlato o musica, ma non riescono a integrare i segnali audio spaziali necessari per esperienze immersive. In questo lavoro, introduciamo SEE-2-SOUND, un approccio zero-shot che scompone il compito in (1) identificazione delle regioni visive di interesse; (2) localizzazione di questi elementi nello spazio 3D; (3) generazione di audio mono per ciascuno di essi; e (4) integrazione in audio spaziale. Utilizzando il nostro framework, dimostriamo risultati convincenti nella generazione di audio spaziale per video di alta qualità, immagini e immagini dinamiche provenienti da internet, nonché per media generati da approcci basati sull'apprendimento.

English

Generating combined visual and auditory sensory experiences is critical for the consumption of immersive content. Recent advances in neural generative models have enabled the creation of high-resolution content across multiple modalities such as images, text, speech, and videos. Despite these successes, there remains a significant gap in the generation of high-quality spatial audio that complements generated visual content. Furthermore, current audio generation models excel in either generating natural audio or speech or music but fall short in integrating spatial audio cues necessary for immersive experiences. In this work, we introduce SEE-2-SOUND, a zero-shot approach that decomposes the task into (1) identifying visual regions of interest; (2) locating these elements in 3D space; (3) generating mono-audio for each; and (4) integrating them into spatial audio. Using our framework, we demonstrate compelling results for generating spatial audio for high-quality videos, images, and dynamic images from the internet, as well as media generated by learned approaches.