SEE-2-SOUND: Nullschuss räumliche Umgebung zu räumlichem Klang

SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound

June 6, 2024

Autoren: Rishit Dagli, Shivesh Prakash, Robert Wu, Houman Khosravani

cs.AI

Zusammenfassung

Die Erzeugung kombinierter visueller und auditiver Sinneserfahrungen ist entscheidend für die Wahrnehmung immersiver Inhalte. Durch jüngste Fortschritte in neuronalen generativen Modellen ist es möglich geworden, hochauflösende Inhalte über mehrere Modalitäten wie Bilder, Text, Sprache und Videos zu erstellen. Trotz dieser Erfolge besteht nach wie vor eine signifikante Lücke bei der Erzeugung hochwertiger räumlicher Audioinhalte, die das generierte visuelle Material ergänzen. Darüber hinaus zeichnen sich aktuelle Audio-Generierungsmodelle entweder durch die Erzeugung natürlicher Audioinhalte oder Sprache oder Musik aus, scheitern jedoch darin, räumliche Audiohinweise zu integrieren, die für immersive Erfahrungen erforderlich sind. In dieser Arbeit stellen wir SEE-2-SOUND vor, einen Zero-Shot-Ansatz, der die Aufgabe in (1) Identifizierung visueller Interessensregionen; (2) Lokalisierung dieser Elemente im 3D-Raum; (3) Generierung von Mono-Audio für jedes Element; und (4) Integration in räumliches Audio zerlegt. Mithilfe unseres Frameworks zeigen wir überzeugende Ergebnisse bei der Erzeugung von räumlichem Audio für hochwertige Videos, Bilder und dynamische Bilder aus dem Internet sowie Medien, die durch erlernte Ansätze generiert wurden.

English

Generating combined visual and auditory sensory experiences is critical for the consumption of immersive content. Recent advances in neural generative models have enabled the creation of high-resolution content across multiple modalities such as images, text, speech, and videos. Despite these successes, there remains a significant gap in the generation of high-quality spatial audio that complements generated visual content. Furthermore, current audio generation models excel in either generating natural audio or speech or music but fall short in integrating spatial audio cues necessary for immersive experiences. In this work, we introduce SEE-2-SOUND, a zero-shot approach that decomposes the task into (1) identifying visual regions of interest; (2) locating these elements in 3D space; (3) generating mono-audio for each; and (4) integrating them into spatial audio. Using our framework, we demonstrate compelling results for generating spatial audio for high-quality videos, images, and dynamic images from the internet, as well as media generated by learned approaches.