SEE-2-SOUND: Преобразование пространственной среды в звук без обучения.

SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound

June 6, 2024

Авторы: Rishit Dagli, Shivesh Prakash, Robert Wu, Houman Khosravani

cs.AI

Аннотация

Генерация комбинированных визуальных и звуковых сенсорных впечатлений критически важна для потребления иммерсивного контента. Недавние достижения в области нейронных генеративных моделей позволили создавать контент высокого разрешения в различных модальностях, таких как изображения, текст, речь и видео. Несмотря на эти успехи, остается значительный разрыв в генерации высококачественного пространственного звука, который дополняет созданный визуальный контент. Более того, текущие модели генерации звука отличаются либо в создании естественного звука, либо речи, либо музыки, но не удается интегрировать пространственные аудио-подсказки, необходимые для иммерсивного восприятия. В данной работе мы представляем SEE-2-SOUND, подход с нулевым обучением, который разбивает задачу на (1) идентификацию визуальных областей интереса; (2) определение их местоположения в трехмерном пространстве; (3) генерацию моно-звука для каждой из них; и (4) интеграцию их в пространственный звук. С использованием нашей структуры мы демонстрируем убедительные результаты в генерации пространственного звука для видео высокого качества, изображений и динамических изображений из интернета, а также медиаконтента, созданного с использованием изученных подходов.

English

Generating combined visual and auditory sensory experiences is critical for the consumption of immersive content. Recent advances in neural generative models have enabled the creation of high-resolution content across multiple modalities such as images, text, speech, and videos. Despite these successes, there remains a significant gap in the generation of high-quality spatial audio that complements generated visual content. Furthermore, current audio generation models excel in either generating natural audio or speech or music but fall short in integrating spatial audio cues necessary for immersive experiences. In this work, we introduce SEE-2-SOUND, a zero-shot approach that decomposes the task into (1) identifying visual regions of interest; (2) locating these elements in 3D space; (3) generating mono-audio for each; and (4) integrating them into spatial audio. Using our framework, we demonstrate compelling results for generating spatial audio for high-quality videos, images, and dynamic images from the internet, as well as media generated by learned approaches.