Определение детали: 3D-сегментация и наименование компонентов

Name That Part: 3D Part Segmentation and Naming

December 19, 2025

Авторы: Soumava Paul, Prakhar Kaushik, Ankit Vaidya, Anand Bhattad, Alan Yuille

cs.AI

Аннотация

Мы рассматриваем задачу семантической 3D-сегментации на части: декомпозицию объектов на части, имеющие осмысленные названия. Хотя существуют наборы данных с аннотациями частей, их определения не согласованы между наборами данных, что ограничивает возможность надежного обучения. Предыдущие методы создают неразмеченные декомпозиции или извлекают отдельные части без полных аннотаций формы. Мы предлагаем метод ALIGN-Parts, который формулирует задачу присвоения имен частям как задачу прямого выравнивания множеств. Наш метод декомпозирует формы на партлеты — неявные 3D-представления частей, — которые сопоставляются с текстовыми описаниями частей посредством двудольного назначения. Мы комбинируем геометрические подсказки из 3D-полей частей, визуальные признаки из многовидовых изображений и семантические знания из аффордансных описаний, сгенерированных языковыми моделями. Функция потерь на выравнивание с текстом обеспечивает нахождение партлетов и текста в общем пространстве embeddings, что позволяет теоретически реализовать открытую словарную систему сопоставления при наличии достаточных данных. Наш эффективный и новый метод одноэтапной 3D-сегментации и наименования частей находит применение в ряде последующих задач, включая использование в качестве масштабируемого механизма аннотирования. Поскольку наша модель поддерживает сопоставление с произвольными описаниями в режиме zero-shot и уверенные, калиброванные предсказания для известных категорий, мы, с помощью верификации человеком, создали унифицированную онтологию, объединяющую PartNet, 3DCoMPaT++ и Find3D, которая состоит из 1794 уникальных 3D-частей. Мы также демонстрируем примеры из нашего нового набора данных Tex-Parts. Кроме того, мы вводим две новые метрики, подходящие для задачи наименованной 3D-сегментации на части.

English

We address semantic 3D part segmentation: decomposing objects into parts with meaningful names. While datasets exist with part annotations, their definitions are inconsistent across datasets, limiting robust training. Previous methods produce unlabeled decompositions or retrieve single parts without complete shape annotations. We propose ALIGN-Parts, which formulates part naming as a direct set alignment task. Our method decomposes shapes into partlets - implicit 3D part representations - matched to part descriptions via bipartite assignment. We combine geometric cues from 3D part fields, appearance from multi-view vision features, and semantic knowledge from language-model-generated affordance descriptions. Text-alignment loss ensures partlets share embedding space with text, enabling a theoretically open-vocabulary matching setup, given sufficient data. Our efficient and novel, one-shot, 3D part segmentation and naming method finds applications in several downstream tasks, including serving as a scalable annotation engine. As our model supports zero-shot matching to arbitrary descriptions and confidence-calibrated predictions for known categories, with human verification, we create a unified ontology that aligns PartNet, 3DCoMPaT++, and Find3D, consisting of 1,794 unique 3D parts. We also show examples from our newly created Tex-Parts dataset. We also introduce 2 novel metrics appropriate for the named 3D part segmentation task.