SEE-2-SOUND: Ambiente Espacial para Som Espacial em Zero-Shot

SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound

June 6, 2024

Autores: Rishit Dagli, Shivesh Prakash, Robert Wu, Houman Khosravani

cs.AI

Resumo

A geração de experiências sensoriais combinadas visuais e auditivas é crucial para o consumo de conteúdo imersivo. Avanços recentes em modelos generativos neurais permitiram a criação de conteúdo de alta resolução em múltiplas modalidades, como imagens, texto, fala e vídeos. Apesar desses sucessos, ainda existe uma lacuna significativa na geração de áudio espacial de alta qualidade que complemente o conteúdo visual gerado. Além disso, os modelos atuais de geração de áudio se destacam na criação de áudio natural, fala ou música, mas falham em integrar pistas de áudio espacial necessárias para experiências imersivas. Neste trabalho, apresentamos o SEE-2-SOUND, uma abordagem zero-shot que decompõe a tarefa em (1) identificar regiões visuais de interesse; (2) localizar esses elementos no espaço 3D; (3) gerar áudio mono para cada um; e (4) integrá-los em áudio espacial. Utilizando nosso framework, demonstramos resultados convincentes na geração de áudio espacial para vídeos de alta qualidade, imagens e imagens dinâmicas da internet, bem como mídias geradas por abordagens baseadas em aprendizado.

English

Generating combined visual and auditory sensory experiences is critical for the consumption of immersive content. Recent advances in neural generative models have enabled the creation of high-resolution content across multiple modalities such as images, text, speech, and videos. Despite these successes, there remains a significant gap in the generation of high-quality spatial audio that complements generated visual content. Furthermore, current audio generation models excel in either generating natural audio or speech or music but fall short in integrating spatial audio cues necessary for immersive experiences. In this work, we introduce SEE-2-SOUND, a zero-shot approach that decomposes the task into (1) identifying visual regions of interest; (2) locating these elements in 3D space; (3) generating mono-audio for each; and (4) integrating them into spatial audio. Using our framework, we demonstrate compelling results for generating spatial audio for high-quality videos, images, and dynamic images from the internet, as well as media generated by learned approaches.