Renderização Acústica de Volume para Campos de Resposta de Impulso Neural

Acoustic Volume Rendering for Neural Impulse Response Fields

November 9, 2024

Autores: Zitong Lan, Chenhao Zheng, Zhiwei Zheng, Mingmin Zhao

cs.AI

Resumo

A síntese de áudio realista que captura fenômenos acústicos precisos é essencial para criar experiências imersivas em realidade virtual e aumentada. Sintetizar o som recebido em qualquer posição depende da estimativa da resposta ao impulso (RI), que caracteriza como o som se propaga em uma cena ao longo de diferentes caminhos antes de chegar à posição do ouvinte. Neste artigo, apresentamos o Rendering de Volume Acústico (AVR), uma abordagem inovadora que adapta técnicas de rendering de volume para modelar respostas ao impulso acústico. Enquanto o rendering de volume tem sido bem-sucedido na modelagem de campos de radiância para imagens e representações de cena neural, as RIs apresentam desafios únicos como sinais de séries temporais. Para enfrentar esses desafios, introduzimos o rendering de volume no domínio da frequência e utilizamos integração esférica para ajustar as medições da RI. Nosso método constrói um campo de resposta ao impulso que codifica inerentemente os princípios de propagação de ondas e alcança um desempenho de ponta na síntese de respostas ao impulso para poses inovadoras. Experimentos mostram que o AVR supera substancialmente os métodos líderes atuais. Além disso, desenvolvemos uma plataforma de simulação acústica, AcoustiX, que fornece simulações de RI mais precisas e realistas do que os simuladores existentes. O código para o AVR e o AcoustiX está disponível em https://zitonglan.github.io/avr.

English

Realistic audio synthesis that captures accurate acoustic phenomena is essential for creating immersive experiences in virtual and augmented reality. Synthesizing the sound received at any position relies on the estimation of impulse response (IR), which characterizes how sound propagates in one scene along different paths before arriving at the listener's position. In this paper, we present Acoustic Volume Rendering (AVR), a novel approach that adapts volume rendering techniques to model acoustic impulse responses. While volume rendering has been successful in modeling radiance fields for images and neural scene representations, IRs present unique challenges as time-series signals. To address these challenges, we introduce frequency-domain volume rendering and use spherical integration to fit the IR measurements. Our method constructs an impulse response field that inherently encodes wave propagation principles and achieves state-of-the-art performance in synthesizing impulse responses for novel poses. Experiments show that AVR surpasses current leading methods by a substantial margin. Additionally, we develop an acoustic simulation platform, AcoustiX, which provides more accurate and realistic IR simulations than existing simulators. Code for AVR and AcoustiX are available at https://zitonglan.github.io/avr.