Group3D: MLLM駆動型セマンティックグループ化によるオープン語彙3D物体検出
Group3D: MLLM-Driven Semantic Grouping for Open-Vocabulary 3D Object Detection
March 23, 2026
著者: Youbin Kim, Jinho Park, Hogun Park, Eunbyung Park
cs.AI
要旨
オープン語彙3D物体検出は、固定された学習タクソノミーを超えた物体の位置特定と認識を目的とする。マルチビューRGB設定において、最近のアプローチは、幾何学ベースのインスタンス構築と意味的ラベリングを分離し、クラス非依存のフラグメントを生成した後、オープン語彙カテゴリを事後的に割り当てる手法が一般的である。この手法は柔軟性が高い一方、この分離によりインスタンス構築は主に幾何学的一貫性によって支配され、マージ処理中の意味的制約が欠如する。幾何学的証拠が視点依存性かつ不完全である場合、この幾何学のみに基づくマージは、異なる物体の過剰統合や単一インスタンスの断片化といった、修復不能な関連付けエラーを引き起こす可能性がある。
本研究では、意味的制約をインスタンス構築プロセスに直接統合するマルチビューオープン語彙3D検出フレームワーク「Group3D」を提案する。Group3Dは、マルチモーダル大規模言語モデル（MLLM）から導出されたシーン適応型語彙を維持し、それを、視点間のカテゴリ等価性の可能性を符号化する意味的互換性グループへと編成する。これらのグループはマージ時の制約として機能する：3Dフラグメントは、意味的互換性と幾何学的一貫性の両方を満たす場合にのみ関連付けられる。この意味的にゲートされたマージ処理により、幾何学主導の過剰統合を軽減しつつ、マルチビューにおけるカテゴリの変動性を吸収する。Group3Dはポーズ既知およびポーズ未設定の両方の環境をサポートし、RGB観測のみに依存する。ScanNetおよびARKitScenesでの実験により、Group3Dがマルチビューオープン語彙3D検出において最先端の性能を達成し、ゼロショットシナリオにおいて強力な一般化性能を示すことを実証する。プロジェクトページは https://ubin108.github.io/Group3D/ で公開されている。
English
Open-vocabulary 3D object detection aims to localize and recognize objects beyond a fixed training taxonomy. In multi-view RGB settings, recent approaches often decouple geometry-based instance construction from semantic labeling, generating class-agnostic fragments and assigning open-vocabulary categories post hoc. While flexible, such decoupling leaves instance construction governed primarily by geometric consistency, without semantic constraints during merging. When geometric evidence is view-dependent and incomplete, this geometry-only merging can lead to irreversible association errors, including over-merging of distinct objects or fragmentation of a single instance. We propose Group3D, a multi-view open-vocabulary 3D detection framework that integrates semantic constraints directly into the instance construction process. Group3D maintains a scene-adaptive vocabulary derived from a multimodal large language model (MLLM) and organizes it into semantic compatibility groups that encode plausible cross-view category equivalence. These groups act as merge-time constraints: 3D fragments are associated only when they satisfy both semantic compatibility and geometric consistency. This semantically gated merging mitigates geometry-driven over-merging while absorbing multi-view category variability. Group3D supports both pose-known and pose-free settings, relying only on RGB observations. Experiments on ScanNet and ARKitScenes demonstrate that Group3D achieves state-of-the-art performance in multi-view open-vocabulary 3D detection, while exhibiting strong generalization in zero-shot scenarios. The project page is available at https://ubin108.github.io/Group3D/.