Navigazione Audio-Visiva Semantica in Ambienti Continui

Abstract

La navigazione audiovisiva consente ad agenti embodied di navigare verso target che emettono suoni sfruttando sia indizi uditivi che visivi. Tuttavia, la maggior parte degli approcci esistenti si basa su risposte impulsive ambientali (RIR) precalcolate per il rendering audio binaurale, limitando gli agenti a posizioni discrete su griglia e portando a osservazioni spazialmente discontinue. Per stabilire un ambiente più realistico, introduciamo la Navigazione Audio-Visiva Semantica in Ambienti Continui (SAVN-CE), dove gli agenti possono muoversi liberamente in spazi 3D e percepire flussi audiovisivi temporalmente e spazialmente coerenti. In questo contesto, i target possono diventare intermittentemente silenziosi o smettere completamente di emettere suoni, causando la perdita di informazioni sul goal da parte degli agenti. Per affrontare questa sfida, proponiamo MAGNet, un modello basato su transformer multimodale che codifica congiuntamente rappresentazioni spaziali e semantiche del goal e integra il contesto storico con indizi di auto-movimento per abilitare un ragionamento sul goal potenziato dalla memoria. Esperimenti completi dimostrano che MAGNet supera significativamente i metodi allo stato dell'arte, raggiungendo un miglioramento assoluto fino al 12,1% nel tasso di successo. Questi risultati evidenziano anche la sua robustezza rispetto a suoni di breve durata e scenari di navigazione a lunga distanza. Il codice è disponibile all'indirizzo https://github.com/yichenzeng24/SAVN-CE.

English

Audio-visual navigation enables embodied agents to navigate toward sound-emitting targets by leveraging both auditory and visual cues. However, most existing approaches rely on precomputed room impulse responses (RIRs) for binaural audio rendering, restricting agents to discrete grid positions and leading to spatially discontinuous observations. To establish a more realistic setting, we introduce Semantic Audio-Visual Navigation in Continuous Environments (SAVN-CE), where agents can move freely in 3D spaces and perceive temporally and spatially coherent audio-visual streams. In this setting, targets may intermittently become silent or stop emitting sound entirely, causing agents to lose goal information. To tackle this challenge, we propose MAGNet, a multimodal transformer-based model that jointly encodes spatial and semantic goal representations and integrates historical context with self-motion cues to enable memory-augmented goal reasoning. Comprehensive experiments demonstrate that MAGNet significantly outperforms state-of-the-art methods, achieving up to a 12.1\% absolute improvement in success rate. These results also highlight its robustness to short-duration sounds and long-distance navigation scenarios. The code is available at https://github.com/yichenzeng24/SAVN-CE.