SmartMage: 3Dシーン理解のための動的モダリティオーケストレーション

要旨

3Dシーンの理解は身体化知能の基盤であり、視覚的・幾何学的手がかりを含む複数のモダリティからの異種情報を統合的に推論することが必要である。しかしながら、これらのモダリティの関連性はクエリごとに異なることが多い。既存のマルチモーダル大規模言語モデル（MLLM）は通常、固定されたモダリティの組み合わせに依存しており、クエリ依存のモダリティ要件を見落としている。このような硬直的な設計は、無関係なモダリティからの意味的ノイズを導入し、より情報量の多いモダリティを十分に活用しないため、計算の無駄と推論の希薄化を引き起こす可能性がある。これらの課題に対処するため、本論文では、意味を考慮した3Dシーン理解のために異種モダリティを動的に統制する統一MLLMであるSmartMageを提案する。具体的には、SmartMageは以下の要素を組み込む。（1）意味的先行知識、テキストとモダリティの整合性、モダリティ品質を用いてタスクに関連するモダリティを選択するSemantic-guided Modality Adaptive RouTng（SMART）モジュール、（2）モダリティ先行知識を活用してエキスパートの活性化を導き、マルチモーダル推論における適応的特化を促進するModality-Aware Gating Expert（MAGE）モジュール。実験的に、SmartMageは5つの3Dシーン理解ベンチマークで最先端の性能を達成し、RGBのみのビデオ理解ベンチマークでも競争力のある結果を得る。我々の診断用ベンチマークScanFacetでは、タスクが細粒度の意味カテゴリに分割され、各意味タイプが好むモダリティの組み合わせの分析を可能にする。観察されたモダリティと意味のパターンは、SmartMageの有効性をさらに裏付けるものである。プロジェクトページ: https://yuecheong.github.io/SmartMage/。

English

Understanding 3D scenes is fundamental to embodied intelligence, requiring joint reasoning over heterogeneous information from multiple modalities, including visual and geometric cues. However, the relevance of these modalities often varies across queries. Existing Multimodal Large Language Models (MLLMs) typically rely on fixed modality combinations, overlooking query-dependent modality needs. Such a rigid design can introduce semantic noise from irrelevant modalities while underutilizing more informative ones, leading to wasted computation and diluted reasoning. To address these challenges, this paper proposes SmartMage, a unified MLLM that dynamically orchestrates heterogeneous modalities for semantic-aware 3D scene understanding. Specifically, SmartMage incorporates: (1) a Semantic-guided Modality Adaptive RouTng (SMART) module that selects task-relevant modalities using semantic priors, text-modality alignment, and modality quality; and (2) a Modality-Aware Gating Expert (MAGE) module that leverages modality priors to guide expert activation, fostering adaptive specialization in multimodal reasoning. Empirically, SmartMage achieves state-of-the-art performance across five 3D scene understanding benchmarks, and attains competitive results on RGB-only video understanding benchmarks. In our diagnostic benchmark ScanFacet, tasks are divided into fine-grained semantic categories, enabling analysis of modality combinations preferred by each semantic type. The observed modality-semantic patterns provide further evidence of SmartMage's effectiveness. Project page: https://yuecheong.github.io/SmartMage/.