SmartMage: 3차원 장면 이해를 위한 동적 모달리티 오케스트레이션

초록

3D 장면을 이해하는 것은 체화된 지능의 근간이며, 시각적 및 기하학적 단서를 포함한 여러 모달리티의 이질적 정보에 대한 통합적 추론을 요구한다. 그러나 이러한 모달리티들의 관련성은 쿼리에 따라 종종 달라진다. 기존의 다중 모달 대형 언어 모델(MLLM)은 일반적으로 고정된 모달리티 조합에 의존하여 쿼리 의존적 모달리티 요구를 간과한다. 이러한 경직된 설계는 관련 없는 모달리티로부터 의미적 노이즈를 유발하는 동시에 더 유익한 모달리티의 활용을 저하시켜 계산 낭비와 추론 희석을 초래한다. 이러한 문제를 해결하기 위해 본 논문은 의미 인식 3D 장면 이해를 위해 이질적 모달리티를 동적으로 조정하는 통합 MLLM인 SmartMage를 제안한다. 구체적으로, SmartMage는 다음을 포함한다: (1) 의미적 사전 지식, 텍스트-모달리티 정렬 및 모달리티 품질을 활용하여 작업 관련 모달리티를 선택하는 의미 기반 모달리티 적응 라우팅(SMART) 모듈, 그리고 (2) 모달리티 사전 지식을 활용하여 전문가 활성화를 안내함으로써 다중 모달 추론의 적응적 전문화를 촉진하는 모달리티 인식 게이팅 전문가(MAGE) 모듈. 실험적으로, SmartMage는 5개의 3D 장면 이해 벤치마크에서 최고 수준의 성능을 달성하며, RGB 전용 비디오 이해 벤치마크에서도 경쟁력 있는 결과를 얻는다. 우리의 진단 벤치마크인 ScanFacet에서는 작업이 세분화된 의미 범주로 나뉘며, 이를 통해 각 의미 유형이 선호하는 모달리티 조합을 분석할 수 있다. 관찰된 모달리티-의미 패턴은 SmartMage의 효율성에 대한 추가적인 증거를 제공한다. 프로젝트 페이지: https://yuecheong.github.io/SmartMage/.

English

Understanding 3D scenes is fundamental to embodied intelligence, requiring joint reasoning over heterogeneous information from multiple modalities, including visual and geometric cues. However, the relevance of these modalities often varies across queries. Existing Multimodal Large Language Models (MLLMs) typically rely on fixed modality combinations, overlooking query-dependent modality needs. Such a rigid design can introduce semantic noise from irrelevant modalities while underutilizing more informative ones, leading to wasted computation and diluted reasoning. To address these challenges, this paper proposes SmartMage, a unified MLLM that dynamically orchestrates heterogeneous modalities for semantic-aware 3D scene understanding. Specifically, SmartMage incorporates: (1) a Semantic-guided Modality Adaptive RouTng (SMART) module that selects task-relevant modalities using semantic priors, text-modality alignment, and modality quality; and (2) a Modality-Aware Gating Expert (MAGE) module that leverages modality priors to guide expert activation, fostering adaptive specialization in multimodal reasoning. Empirically, SmartMage achieves state-of-the-art performance across five 3D scene understanding benchmarks, and attains competitive results on RGB-only video understanding benchmarks. In our diagnostic benchmark ScanFacet, tasks are divided into fine-grained semantic categories, enabling analysis of modality combinations preferred by each semantic type. The observed modality-semantic patterns provide further evidence of SmartMage's effectiveness. Project page: https://yuecheong.github.io/SmartMage/.