Group3D: семантическая группировка на основе MLLM для обнаружения 3D-объектов с открытым словарем

Group3D: MLLM-Driven Semantic Grouping for Open-Vocabulary 3D Object Detection

March 23, 2026

Авторы: Youbin Kim, Jinho Park, Hogun Park, Eunbyung Park

cs.AI

Аннотация

Задача открыто-словарного 3D-обнаружения объектов заключается в локализации и распознавании объектов, выходящих за пределы фиксированной таксономии обучения. В условиях многовидовых RGB-настроек современные подходы часто разделяют построение геометрически-ориентированных экземпляров и семантическую маркировку, генерируя класс-независимые фрагменты и назначая открыто-словарные категории постфактум. Несмотря на гибкость, такое разделение приводит к тому, что построение экземпляров управляется в основном геометрической согласованностью без семантических ограничений на этапе слияния. Когда геометрические данные зависят от ракурса и неполны, такое чисто геометрическое слияние может приводить к необратимым ошибкам ассоциации, включая избыточное слияние различных объектов или фрагментацию единого экземпляра. Мы предлагаем Group3D — многовидовую открыто-словарную систему 3D-обнаружения, которая интегрирует семантические ограничения непосредственно в процесс построения экземпляров. Group3D поддерживает адаптивный к сцене словарь, полученный из мультимодальной большой языковой модели (MLLM), и организует его в группы семантической совместимости, кодирующие допустимые межвидовые категориальные эквивалентности. Эти группы выступают в качестве ограничений при слиянии: 3D-фрагменты ассоциируются только тогда, когда они удовлетворяют как семантической совместимости, так и геометрической согласованности. Такое семантически управляемое слияние смягчает проблему избыточного слияния, вызванного геометрией, и учитывает вариабельность категорий между видами. Group3D поддерживает как сценарии с известными, так и с неизвестными позами, полагаясь исключительно на RGB-наблюдения. Эксперименты на ScanNet и ARKitScenes показывают, что Group3D достигает передовых результатов в многовидовом открыто-словарном 3D-обнаружении, демонстрируя при этом сильную обобщающую способность в сценариях zero-shot. Страница проекта доступна по адресу https://ubin108.github.io/Group3D/.

English

Open-vocabulary 3D object detection aims to localize and recognize objects beyond a fixed training taxonomy. In multi-view RGB settings, recent approaches often decouple geometry-based instance construction from semantic labeling, generating class-agnostic fragments and assigning open-vocabulary categories post hoc. While flexible, such decoupling leaves instance construction governed primarily by geometric consistency, without semantic constraints during merging. When geometric evidence is view-dependent and incomplete, this geometry-only merging can lead to irreversible association errors, including over-merging of distinct objects or fragmentation of a single instance. We propose Group3D, a multi-view open-vocabulary 3D detection framework that integrates semantic constraints directly into the instance construction process. Group3D maintains a scene-adaptive vocabulary derived from a multimodal large language model (MLLM) and organizes it into semantic compatibility groups that encode plausible cross-view category equivalence. These groups act as merge-time constraints: 3D fragments are associated only when they satisfy both semantic compatibility and geometric consistency. This semantically gated merging mitigates geometry-driven over-merging while absorbing multi-view category variability. Group3D supports both pose-known and pose-free settings, relying only on RGB observations. Experiments on ScanNet and ARKitScenes demonstrate that Group3D achieves state-of-the-art performance in multi-view open-vocabulary 3D detection, while exhibiting strong generalization in zero-shot scenarios. The project page is available at https://ubin108.github.io/Group3D/.