Renderizado volumétrico acústico para campos de respuesta de impulsos neurales.

Acoustic Volume Rendering for Neural Impulse Response Fields

November 9, 2024

Autores: Zitong Lan, Chenhao Zheng, Zhiwei Zheng, Mingmin Zhao

cs.AI

Resumen

La síntesis de audio realista que captura fenómenos acústicos precisos es esencial para crear experiencias inmersivas en realidad virtual y aumentada. Sintetizar el sonido recibido en cualquier posición depende de la estimación de la respuesta al impulso (RI), que caracteriza cómo se propaga el sonido en una escena a lo largo de diferentes trayectorias antes de llegar a la posición del oyente. En este artículo, presentamos el Renderizado de Volumen Acústico (AVR), un enfoque novedoso que adapta técnicas de renderizado de volumen para modelar respuestas al impulso acústico. Si bien el renderizado de volumen ha tenido éxito en modelar campos de radiación para imágenes y representaciones de escenas neuronales, las RIs presentan desafíos únicos como señales de series temporales. Para abordar estos desafíos, introducimos el renderizado de volumen en el dominio de frecuencia y utilizamos la integración esférica para ajustar las mediciones de la RI. Nuestro método construye un campo de respuesta al impulso que codifica inherentemente los principios de propagación de ondas y logra un rendimiento de vanguardia en la síntesis de respuestas al impulso para poses novedosas. Los experimentos muestran que AVR supera con creces a los métodos líderes actuales. Además, desarrollamos una plataforma de simulación acústica, AcoustiX, que proporciona simulaciones de RI más precisas y realistas que los simuladores existentes. El código para AVR y AcoustiX está disponible en https://zitonglan.github.io/avr.

English

Realistic audio synthesis that captures accurate acoustic phenomena is essential for creating immersive experiences in virtual and augmented reality. Synthesizing the sound received at any position relies on the estimation of impulse response (IR), which characterizes how sound propagates in one scene along different paths before arriving at the listener's position. In this paper, we present Acoustic Volume Rendering (AVR), a novel approach that adapts volume rendering techniques to model acoustic impulse responses. While volume rendering has been successful in modeling radiance fields for images and neural scene representations, IRs present unique challenges as time-series signals. To address these challenges, we introduce frequency-domain volume rendering and use spherical integration to fit the IR measurements. Our method constructs an impulse response field that inherently encodes wave propagation principles and achieves state-of-the-art performance in synthesizing impulse responses for novel poses. Experiments show that AVR surpasses current leading methods by a substantial margin. Additionally, we develop an acoustic simulation platform, AcoustiX, which provides more accurate and realistic IR simulations than existing simulators. Code for AVR and AcoustiX are available at https://zitonglan.github.io/avr.