Акустическая объемная визуализация для полей импульсных ответов нейронов

Acoustic Volume Rendering for Neural Impulse Response Fields

November 9, 2024

Авторы: Zitong Lan, Chenhao Zheng, Zhiwei Zheng, Mingmin Zhao

cs.AI

Аннотация

Реалистичный синтез звука, который передает точные акустические явления, необходим для создания захватывающих впечатлений в виртуальной и дополненной реальности. Синтез звука, получаемого в любой точке, зависит от оценки импульсной характеристики (ИХ), которая характеризует распространение звука в сцене по различным путям перед его приходом в позицию слушателя. В данной статье мы представляем Акустическое объемное визуализирование (AVR), новый подход, который адаптирует техники объемной визуализации для моделирования акустических импульсных характеристик. В то время как объемная визуализация успешно применяется для моделирования полей излучения для изображений и нейронных сценовых представлений, ИХ представляют уникальные вызовы как временные сигналы. Для решения этих вызовов мы представляем объемную визуализацию в частотной области и используем сферическую интеграцию для подгонки измерений ИХ. Наш метод строит поле импульсных характеристик, которое встроенно кодирует принципы распространения волн и достигает передовой производительности в синтезе импульсных характеристик для новых поз. Эксперименты показывают, что AVR превосходит текущие ведущие методы значительно. Кроме того, мы разработали платформу акустического моделирования, AcoustiX, которая обеспечивает более точные и реалистичные симуляции ИХ, чем существующие симуляторы. Код для AVR и AcoustiX доступен по адресу https://zitonglan.github.io/avr.

English

Realistic audio synthesis that captures accurate acoustic phenomena is essential for creating immersive experiences in virtual and augmented reality. Synthesizing the sound received at any position relies on the estimation of impulse response (IR), which characterizes how sound propagates in one scene along different paths before arriving at the listener's position. In this paper, we present Acoustic Volume Rendering (AVR), a novel approach that adapts volume rendering techniques to model acoustic impulse responses. While volume rendering has been successful in modeling radiance fields for images and neural scene representations, IRs present unique challenges as time-series signals. To address these challenges, we introduce frequency-domain volume rendering and use spherical integration to fit the IR measurements. Our method constructs an impulse response field that inherently encodes wave propagation principles and achieves state-of-the-art performance in synthesizing impulse responses for novel poses. Experiments show that AVR surpasses current leading methods by a substantial margin. Additionally, we develop an acoustic simulation platform, AcoustiX, which provides more accurate and realistic IR simulations than existing simulators. Code for AVR and AcoustiX are available at https://zitonglan.github.io/avr.