ニューラルインパルス応答フィールドのための音響ボリュームレンダリング

Acoustic Volume Rendering for Neural Impulse Response Fields

November 9, 2024

著者: Zitong Lan, Chenhao Zheng, Zhiwei Zheng, Mingmin Zhao

cs.AI

要旨

バーチャルおよび拡張現実に没入感のある体験を創出するためには、正確な音響現象を捉えたリアルなオーディオ合成が不可欠です。任意の位置で受信される音を合成するには、音がリスナーの位置に到達する前に異なる経路を通ってどのように伝播するかを特徴づけるインパルス応答（IR）の推定に依存します。本論文では、音響ボリュームレンダリング（AVR）という、音響インパルス応答をモデル化するためにボリュームレンダリング技術を適応した新しいアプローチを提案します。ボリュームレンダリングは画像やニューラルシーン表現の放射輝度場をモデル化するのに成功してきましたが、IRは時間系列信号として独自の課題を抱えています。これらの課題に対処するために、周波数領域のボリュームレンダリングを導入し、IRの測定値に適合させるために球面積分を使用します。我々の手法は、波の伝播原理を固有にエンコードしたインパルス応答フィールドを構築し、新しいポーズのためのインパルス応答の合成において最先端の性能を実現します。実験結果は、AVRが現行の主要手法を大幅に上回ることを示しています。さらに、既存のシミュレータよりもより正確でリアルなIRシミュレーションを提供する音響シミュレーションプラットフォームであるAcoustiXを開発しました。AVRおよびAcoustiXのコードは、https://zitonglan.github.io/avr で入手可能です。

English

Realistic audio synthesis that captures accurate acoustic phenomena is essential for creating immersive experiences in virtual and augmented reality. Synthesizing the sound received at any position relies on the estimation of impulse response (IR), which characterizes how sound propagates in one scene along different paths before arriving at the listener's position. In this paper, we present Acoustic Volume Rendering (AVR), a novel approach that adapts volume rendering techniques to model acoustic impulse responses. While volume rendering has been successful in modeling radiance fields for images and neural scene representations, IRs present unique challenges as time-series signals. To address these challenges, we introduce frequency-domain volume rendering and use spherical integration to fit the IR measurements. Our method constructs an impulse response field that inherently encodes wave propagation principles and achieves state-of-the-art performance in synthesizing impulse responses for novel poses. Experiments show that AVR surpasses current leading methods by a substantial margin. Additionally, we develop an acoustic simulation platform, AcoustiX, which provides more accurate and realistic IR simulations than existing simulators. Code for AVR and AcoustiX are available at https://zitonglan.github.io/avr.