COOPER: 空間知能における協調的知覚と推論の統合モデル

要旨

視覚的空間推論は、マルチモーダル大規模言語モデル（MLLM）が物体特性と空間関係を理解する上で重要であるが、現在のモデルは3D認識推論に依然として課題を抱えている。既存の手法では、深度やセグメンテーションなどの補助モダリティでRGB入力を拡張して知覚を強化するか、空間VQAデータセットで学習し強化学習を適用して推論を強化するのが一般的であり、これら二つの側面を分離して扱っている。本研究では、統一されたMLLMが内在的な能力として空間知覚を強化し、適応的なインタリーブ推論を通じてより強力な空間知性を達成できるかどうかを検討する。我々は、深度とセグメンテーションを補助モダリティとして活用し、補助モダリティ生成と適応的インタリーブ推論能力を2段階の学習で獲得する統一MLLM「COOPER」を提案する。COOPERは、一般的な性能を維持しつつ空間推論で平均6.91%の改善を達成した。さらに、補助モダリティ生成のみを学習した変種モデルでも距離・サイズ推定タスクで7.92%の向上を示し、補助モダリティの生成を学習することが空間知識の内在化と空間理解の強化に寄与することが示唆された。

English

Visual Spatial Reasoning is crucial for enabling Multimodal Large Language Models (MLLMs) to understand object properties and spatial relationships, yet current models still struggle with 3D-aware reasoning. Existing approaches typically enhance either perception, by augmenting RGB inputs with auxiliary modalities such as depth and segmentation, or reasoning, by training on spatial VQA datasets and applying reinforcement learning, and thus treat these two aspects in isolation. In this work, we investigate whether a unified MLLM can develop an intrinsic ability to enhance spatial perception and, through adaptive interleaved reasoning, achieve stronger spatial intelligence. We propose COOPER, a unified MLLM that leverages depth and segmentation as auxiliary modalities and is trained in two stages to acquire auxiliary modality generation and adaptive, interleaved reasoning capabilities. COOPER achieves an average 6.91\% improvement in spatial reasoning while maintaining general performance. Moreover, even a variant trained only for auxiliary modality generation attains a 7.92\% gain on distance and size estimation, suggesting that learning to generate auxiliary modalities helps internalize spatial knowledge and strengthen spatial understanding.

COOPER: 空間知能における協調的知覚と推論の統合モデル

COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence

要旨

Support