Семантическая аудиовизуальная навигация в непрерывных средах

Аннотация

Аудиовизуальная навигация позволяет воплощенным агентам перемещаться к звукоизлучающим целям, используя как слуховые, так и визуальные сигналы. Однако большинство существующих подходов опираются на предварительно рассчитанные импульсные характеристики помещений (ИХП) для бинаурального рендеринга аудио, что ограничивает агентов дискретными позициями в сетке и приводит к пространственно-непрерывным наблюдениям. Чтобы создать более реалистичные условия, мы представляем семантическую аудиовизуальную навигацию в непрерывных средах (SAVN-CE), где агенты могут свободно перемещаться в 3D-пространстве и воспринимать временно и пространственно согласованные аудиовизуальные потоки. В этой среде цели могут периодически замолкать или полностью прекращать излучать звук, что приводит к потере агентом информации о цели. Для решения этой задачи мы предлагаем MAGNet, многомодальную модель на основе трансформеров, которая совместно кодирует пространственные и семантические представления целей и интегрирует исторический контекст с сигналами самодвижения для обеспечения рассуждений о целях с расширенной памятью. Комплексные эксперименты демонстрируют, что MAGNet значительно превосходит современные методы, достигая абсолютного улучшения показателя успешности до 12,1%. Эти результаты также подчеркивают его устойчивость к звукам малой длительности и сценариям навигации на большие расстояния. Код доступен по адресу https://github.com/yichenzeng24/SAVN-CE.

English

Audio-visual navigation enables embodied agents to navigate toward sound-emitting targets by leveraging both auditory and visual cues. However, most existing approaches rely on precomputed room impulse responses (RIRs) for binaural audio rendering, restricting agents to discrete grid positions and leading to spatially discontinuous observations. To establish a more realistic setting, we introduce Semantic Audio-Visual Navigation in Continuous Environments (SAVN-CE), where agents can move freely in 3D spaces and perceive temporally and spatially coherent audio-visual streams. In this setting, targets may intermittently become silent or stop emitting sound entirely, causing agents to lose goal information. To tackle this challenge, we propose MAGNet, a multimodal transformer-based model that jointly encodes spatial and semantic goal representations and integrates historical context with self-motion cues to enable memory-augmented goal reasoning. Comprehensive experiments demonstrate that MAGNet significantly outperforms state-of-the-art methods, achieving up to a 12.1\% absolute improvement in success rate. These results also highlight its robustness to short-duration sounds and long-distance navigation scenarios. The code is available at https://github.com/yichenzeng24/SAVN-CE.