Navigation audio-visuelle sémantique dans des environnements continus

Résumé

La navigation audio-visuelle permet à des agents incarnés de naviguer vers des cibles émettrices de sons en exploitant à la fois des indices auditifs et visuels. Cependant, la plupart des approches existantes s'appuient sur des réponses impulsionnelles de salle (RIR) précalculées pour le rendu audio binaural, limitant ainsi les agents à des positions discrètes sur une grille et entraînant des observations spatialement discontinues. Pour établir un cadre plus réaliste, nous introduisons la Navigation Audio-Visuelle Sémantique en Environnements Continus (SAVN-CE), où les agents peuvent se déplacer librement dans des espaces 3D et percevoir des flux audio-visuels temporellement et spatialement cohérents. Dans ce cadre, les cibles peuvent devenir intermittemment silencieuses ou cesser totalement d'émettre du son, ce qui entraîne une perte d'information sur l'objectif pour les agents. Pour relever ce défi, nous proposons MAGNet, un modèle multimodal basé sur un transformateur qui encode conjointement des représentations spatiales et sémantiques de l'objectif, et intègre le contexte historique avec des indices d'auto-mouvement pour permettre un raisonnement sur l'objectif augmenté par la mémoire. Des expériences complètes démontrent que MAGNet surpasse significativement les méthodes de l'état de l'art, atteignant une amélioration absolue allant jusqu'à 12,1 % du taux de réussite. Ces résultats mettent également en lumière sa robustesse face aux sons de courte durée et aux scénarios de navigation sur de longues distances. Le code est disponible à l'adresse https://github.com/yichenzeng24/SAVN-CE.

English

Audio-visual navigation enables embodied agents to navigate toward sound-emitting targets by leveraging both auditory and visual cues. However, most existing approaches rely on precomputed room impulse responses (RIRs) for binaural audio rendering, restricting agents to discrete grid positions and leading to spatially discontinuous observations. To establish a more realistic setting, we introduce Semantic Audio-Visual Navigation in Continuous Environments (SAVN-CE), where agents can move freely in 3D spaces and perceive temporally and spatially coherent audio-visual streams. In this setting, targets may intermittently become silent or stop emitting sound entirely, causing agents to lose goal information. To tackle this challenge, we propose MAGNet, a multimodal transformer-based model that jointly encodes spatial and semantic goal representations and integrates historical context with self-motion cues to enable memory-augmented goal reasoning. Comprehensive experiments demonstrate that MAGNet significantly outperforms state-of-the-art methods, achieving up to a 12.1\% absolute improvement in success rate. These results also highlight its robustness to short-duration sounds and long-distance navigation scenarios. The code is available at https://github.com/yichenzeng24/SAVN-CE.