JAEGER: Localización y Razonamiento Audiovisual 3D Conjunto en Entornos Físicos Simulados
JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments
February 20, 2026
Autores: Zhan Liu, Changli Tang, Yuxin Wang, Zhiyuan Zhu, Youjun Chen, Yiwen Shao, Tianzi Wang, Lei Ke, Zengrui Jin, Chao Zhang
cs.AI
Resumen
Los actuales modelos de lenguaje de gran tamaño audiovisual (AV-LLM) se limitan predominantemente a la percepción 2D, dependiendo de vídeo RGB y audio monoaural. Esta elección de diseño introduce una discrepancia fundamental de dimensionalidad que impide una localización fiable de fuentes y un razonamiento espacial en entornos 3D complejos. Abordamos esta limitación presentando JAEGER, un marco que extiende los AV-LLM al espacio 3D para permitir una fundamentación y razonamiento espacial conjuntos mediante la integración de observaciones RGB-D y ambisonics multicanal de primer orden. Una contribución central de nuestro trabajo es el vector de intensidad neuronal (Neural IV), una representación de audio espacial aprendida que codifica indicaciones direccionales robustas para mejorar la estimación de la dirección de llegada, incluso en escenarios acústicos adversos con fuentes superpuestas. Para facilitar el entrenamiento a gran escala y la evaluación sistemática, proponemos SpatialSceneQA, un benchmark de 61k muestras de ajuste por instrucciones seleccionadas de entornos físicos simulados. Experimentos exhaustivos demuestran que nuestro enfoque supera consistentemente a los baselines centrados en 2D en diversas tareas de percepción y razonamiento espacial, subrayando la necesidad de un modelado 3D explícito para avanzar en la IA en entornos físicos. Nuestro código fuente, puntos de control de modelos preentrenados y conjuntos de datos se publicarán tras la aceptación.
English
Current audio-visual large language models (AV-LLMs) are predominantly restricted to 2D perception, relying on RGB video and monaural audio. This design choice introduces a fundamental dimensionality mismatch that precludes reliable source localization and spatial reasoning in complex 3D environments. We address this limitation by presenting JAEGER, a framework that extends AV-LLMs to 3D space, to enable joint spatial grounding and reasoning through the integration of RGB-D observations and multi-channel first-order ambisonics. A core contribution of our work is the neural intensity vector (Neural IV), a learned spatial audio representation that encodes robust directional cues to enhance direction-of-arrival estimation, even in adverse acoustic scenarios with overlapping sources. To facilitate large-scale training and systematic evaluation, we propose SpatialSceneQA, a benchmark of 61k instruction-tuning samples curated from simulated physical environments. Extensive experiments demonstrate that our approach consistently surpasses 2D-centric baselines across diverse spatial perception and reasoning tasks, underscoring the necessity of explicit 3D modelling for advancing AI in physical environments. Our source code, pre-trained model checkpoints and datasets will be released upon acceptance.