JAEGER: 시뮬레이션된 물리 환경에서의 3D 오디오-비주얼 공동 기반 위치 특정 및 추론
JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments
February 20, 2026
저자: Zhan Liu, Changli Tang, Yuxin Wang, Zhiyuan Zhu, Youjun Chen, Yiwen Shao, Tianzi Wang, Lei Ke, Zengrui Jin, Chao Zhang
cs.AI
초록
현재 오디오-비주얼 대규모 언어 모델(AV-LLM)은 RGB 비디오와 모노럴 오디오에 의존한 2차원 인식에 주로 제한되어 있습니다. 이러한 설계 선택은 복잡한 3차원 환경에서 신뢰할 수 있는 음원 위치 추정 및 공간 추론을 방해하는 근본적인 차원 불일치 문제를 초래합니다. 본 연구는 이러한 한계를 해결하기 위해 AV-LLM을 3차원 공간으로 확장하여 RGB-D 관측 데이터와 다중 채널 퍼스터더 앰비소닉스를 통합함으로써 공간 기반 결합 및 추론을 가능하게 하는 JAEGER 프레임워크를 제안합니다. 우리 연구의 핵심 기여는 신경 강도 벡터(Neural IV)로, 겹치는 음원이 존재하는 불리한 음향 환경에서도 도달 방향 추정 성능을 향상시키기 위해 강력한 방향 정보를 인코딩하는 학습된 공간 오디오 표현법입니다. 대규모 학습과 체계적인 평가를 위해, 시뮬레이션된 물리 환경에서 추출한 61,000개의 지시 튜닝 샘플로 구성된 벤치마크인 SpatialSceneQA를 제안합니다. 다양한 공간 인식 및 추론 과제에서 우리의 접근 방식이 2차원 중심 기준 모델들을 일관되게 능가함을 광범위한 실험을 통해 입증하며, 물리 환경에서의 AI 발전을 위해 명시적 3차원 모델링이 필수적임을 강조합니다. 본 논문의 승인 시 소스 코드, 사전 학습된 모델 체크포인트 및 데이터셋을 공개할 예정입니다.
English
Current audio-visual large language models (AV-LLMs) are predominantly restricted to 2D perception, relying on RGB video and monaural audio. This design choice introduces a fundamental dimensionality mismatch that precludes reliable source localization and spatial reasoning in complex 3D environments. We address this limitation by presenting JAEGER, a framework that extends AV-LLMs to 3D space, to enable joint spatial grounding and reasoning through the integration of RGB-D observations and multi-channel first-order ambisonics. A core contribution of our work is the neural intensity vector (Neural IV), a learned spatial audio representation that encodes robust directional cues to enhance direction-of-arrival estimation, even in adverse acoustic scenarios with overlapping sources. To facilitate large-scale training and systematic evaluation, we propose SpatialSceneQA, a benchmark of 61k instruction-tuning samples curated from simulated physical environments. Extensive experiments demonstrate that our approach consistently surpasses 2D-centric baselines across diverse spatial perception and reasoning tasks, underscoring the necessity of explicit 3D modelling for advancing AI in physical environments. Our source code, pre-trained model checkpoints and datasets will be released upon acceptance.