AV-GS: Обучение материалу и геометрически осведомленные априорные знания для синтеза нового вида звуковой акустики

AV-GS: Learning Material and Geometry Aware Priors for Novel View Acoustic Synthesis

June 13, 2024

Авторы: Swapnil Bhosale, Haosen Yang, Diptesh Kanojia, Jiankang Deng, Xiatian Zhu

cs.AI

Аннотация

Новая модель синтеза звука с нового ракурса (NVAS) направлена на создание бинаурального аудио в любой целевой точке обзора, учитывая моноаудио, излучаемое звуковым источником в 3D сцене. Существующие методы предлагают неявные модели на основе NeRF для использования визуальных подсказок в качестве условия для синтеза бинаурального аудио. Однако, помимо низкой эффективности, обусловленной сложным рендерингом NeRF, у всех этих методов ограниченная способность характеризовать всю среду сцены, такую как геометрия комнаты, свойства материалов и пространственное отношение между слушателем и источником звука. Для решения этих проблем мы предлагаем новую модель аудиовизуального гауссовского сплетения (AV-GS). Для получения условия, учитывающего материал и геометрию для синтеза звука, мы изучаем явное точечное представление сцены с параметром аудионаправления на локально инициализированных гауссовских точках, учитывая пространственное отношение от слушателя и источника звука. Для того чтобы сделать визуальную модель сцены аудиоадаптивной, мы предлагаем стратегию плотности и обрезки точек для оптимального распределения гауссовских точек с вкладом на каждую точку в распространении звука (например, требуется больше точек для поверхностей стен без текстуры, так как они влияют на отклонение пути звука). Обширные эксперименты подтверждают превосходство нашего AV-GS над существующими альтернативами на реальных наборах данных RWAS и SoundSpaces, основанных на симуляции.

English

Novel view acoustic synthesis (NVAS) aims to render binaural audio at any target viewpoint, given a mono audio emitted by a sound source at a 3D scene. Existing methods have proposed NeRF-based implicit models to exploit visual cues as a condition for synthesizing binaural audio. However, in addition to low efficiency originating from heavy NeRF rendering, these methods all have a limited ability of characterizing the entire scene environment such as room geometry, material properties, and the spatial relation between the listener and sound source. To address these issues, we propose a novel Audio-Visual Gaussian Splatting (AV-GS) model. To obtain a material-aware and geometry-aware condition for audio synthesis, we learn an explicit point-based scene representation with an audio-guidance parameter on locally initialized Gaussian points, taking into account the space relation from the listener and sound source. To make the visual scene model audio adaptive, we propose a point densification and pruning strategy to optimally distribute the Gaussian points, with the per-point contribution in sound propagation (e.g., more points needed for texture-less wall surfaces as they affect sound path diversion). Extensive experiments validate the superiority of our AV-GS over existing alternatives on the real-world RWAS and simulation-based SoundSpaces datasets.