Semantische Audio-Visuele Navigatie in Continue Omgevingen

Samenvatting

Audiovisuele navigatie stelt belichaamde agents in staat om naar geluidproducerende doelen te navigeren door gebruik te maken van zowel auditieve als visuele aanwijzingen. De meeste bestaande methoden vertrouwen echter op vooraf berekende ruimtelijke impulsresponsies (RIR's) voor binauraal audiorendering, wat agents beperkt tot discrete rasterposities en leidt tot ruimtelijk discontinue waarnemingen. Om een realistischere setting te creëren, introduceren wij Semantische Audiovisuele Navigatie in Continue Omgevingen (SAVN-CE), waarbij agents vrij kunnen bewegen in 3D-ruimtes en temporeel en ruimtelijk coherente audiovisuele stromen waarnemen. In deze setting kunnen doelen intermitterend stilvallen of volledig stoppen met geluid produceren, waardoor agents doelinformatie verliezen. Om deze uitdaging aan te pakken, stellen we MAGNet voor, een multimodaal transformer-gebaseerd model dat ruimtelijke en semantische doelrepresentaties gezamenlijk codeert en historische context integreert met zelfbewegingsaanwijzingen om geheugen-augmented doelredenering mogelijk te maken. Uitgebreide experimenten tonen aan dat MAGNet state-of-the-art methoden significant overtreft, met een absolute verbetering van tot 12,1% in succespercentage. Deze resultaten benadrukken tevens de robuustheid ervan tegen kortdurende geluiden en langeafstandsnavigatiescenario's. De code is beschikbaar op https://github.com/yichenzeng24/SAVN-CE.

English

Audio-visual navigation enables embodied agents to navigate toward sound-emitting targets by leveraging both auditory and visual cues. However, most existing approaches rely on precomputed room impulse responses (RIRs) for binaural audio rendering, restricting agents to discrete grid positions and leading to spatially discontinuous observations. To establish a more realistic setting, we introduce Semantic Audio-Visual Navigation in Continuous Environments (SAVN-CE), where agents can move freely in 3D spaces and perceive temporally and spatially coherent audio-visual streams. In this setting, targets may intermittently become silent or stop emitting sound entirely, causing agents to lose goal information. To tackle this challenge, we propose MAGNet, a multimodal transformer-based model that jointly encodes spatial and semantic goal representations and integrates historical context with self-motion cues to enable memory-augmented goal reasoning. Comprehensive experiments demonstrate that MAGNet significantly outperforms state-of-the-art methods, achieving up to a 12.1\% absolute improvement in success rate. These results also highlight its robustness to short-duration sounds and long-distance navigation scenarios. The code is available at https://github.com/yichenzeng24/SAVN-CE.