JAEGER: Gezamenlijke 3D Audiovisuele Verankering en Redenering in Gesimuleerde Fysieke Omgevingen
JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments
February 20, 2026
Auteurs: Zhan Liu, Changli Tang, Yuxin Wang, Zhiyuan Zhu, Youjun Chen, Yiwen Shao, Tianzi Wang, Lei Ke, Zengrui Jin, Chao Zhang
cs.AI
Samenvatting
Huidige audiovisuele grote taalmodellen (AV-LLM's) zijn voornamelijk beperkt tot 2D-perceptie, waarbij ze vertrouwen op RGB-video en mono-audio. Deze ontwerpkeuze introduceert een fundamentele dimensionaliteitsmismatch die betrouwbare brontlocalisatie en ruimtelijk redeneren in complexe 3D-omgevingen verhindert. Wij pakken deze beperking aan door JAEGER te presenteren, een framework dat AV-LLM's uitbreidt naar de 3D-ruimte, om gezamenlijke ruimtelijke verankering en redenering mogelijk te maken door integratie van RGB-D-waarnemingen en meerkanaals first-order ambisonics. Een kernbijdrage van ons werk is de neurale intensiteitsvector (Neural IV), een aangeleerde ruimtelijke audio-representatie die robuuste directionele aanwijzingen codeert om richtingsschatting van aankomst te verbeteren, zelfs in ongunstige akoestische scenario's met overlappende bronnen. Om grootschalige training en systematische evaluatie mogelijk te maken, stellen we SpatialSceneQA voor, een benchmark met 61k instructie-afstemningsmonsters samengesteld uit gesimuleerde fysieke omgevingen. Uitgebreide experimenten tonen aan dat onze aanpak consistent de op 2D gerichte basislijnen overtreft bij diverse ruimtelijke perceptie- en redeneertaken, wat de noodzaak van expliciete 3D-modellering benadrukt voor de vooruitgang van AI in fysieke omgevingen. Onze broncode, vooraf getrainde modelcheckpoints en datasets zullen na acceptatie worden vrijgegeven.
English
Current audio-visual large language models (AV-LLMs) are predominantly restricted to 2D perception, relying on RGB video and monaural audio. This design choice introduces a fundamental dimensionality mismatch that precludes reliable source localization and spatial reasoning in complex 3D environments. We address this limitation by presenting JAEGER, a framework that extends AV-LLMs to 3D space, to enable joint spatial grounding and reasoning through the integration of RGB-D observations and multi-channel first-order ambisonics. A core contribution of our work is the neural intensity vector (Neural IV), a learned spatial audio representation that encodes robust directional cues to enhance direction-of-arrival estimation, even in adverse acoustic scenarios with overlapping sources. To facilitate large-scale training and systematic evaluation, we propose SpatialSceneQA, a benchmark of 61k instruction-tuning samples curated from simulated physical environments. Extensive experiments demonstrate that our approach consistently surpasses 2D-centric baselines across diverse spatial perception and reasoning tasks, underscoring the necessity of explicit 3D modelling for advancing AI in physical environments. Our source code, pre-trained model checkpoints and datasets will be released upon acceptance.