부품 명명하기: 3D 부품 분할 및 명명

Name That Part: 3D Part Segmentation and Naming

December 19, 2025

저자: Soumava Paul, Prakhar Kaushik, Ankit Vaidya, Anand Bhattad, Alan Yuille

cs.AI

초록

우리는 의미론적 3D 부품 분할, 즉 객체를 의미 있는 이름을 가진 부품들로 분해하는 과제를 다룹니다. 부품 주석이 포함된 데이터셋이 존재하지만, 해당 정의는 데이터셋마다 일관성이 없어 강건한 학습에 한계가 있습니다. 기존 방법들은 레이블이 없는 분해 결과를 생성하거나 완전한 형태 주석 없이 단일 부품을 검색해왔습니다. 우리는 부품 명명을 직접적인 집합 정렬 작업으로 공식화하는 ALIGN-Parts를 제안합니다. 우리의 방법은 형상을 암묵적 3D 부품 표현인 '파틀릿(partlet)'으로 분해한 후, 이분 매칭을 통해 부품 설명과 연결합니다. 여기에는 3D 부품 필드의 기하학적 단서, 다중 시점 시각 특징의 외관, 그리고 언어 모델이 생성한 어포던스 설명의 의미론적 지식이 결합됩니다. 텍스트 정렬 손실은 파틀릿이 텍스트와 임베딩 공간을 공유하도록 보장하여, 충분한 데이터가 주어질 경우 이론적으로 개방형 어휘 매칭 설정을 가능하게 합니다. 우리의 효율적이고 새로운 1-shot 3D 부품 분할 및 명명 방법은 확장 가능한 주석 엔진 역할을 포함한 여러 다운스트림 작업에 적용됩니다. 우리 모델은 임의의 설명에 대한 제로샷 매칭과 알려진 범주에 대한 신뢰도 보정 예측을 지원하므로, 인간 검증을 통해 PartNet, 3DCoMPaT++, Find3D를 정렬하는 1,794개의 고유 3D 부품으로 구성된 통합 온톨로지를 생성했습니다. 또한 새로 구축한 Tex-Parts 데이터셋의 예시를 보여줍니다. 아울러 명명된 3D 부품 분할 작업에 적합한 2가지 새로운 평가 지표를 소개합니다.

English

We address semantic 3D part segmentation: decomposing objects into parts with meaningful names. While datasets exist with part annotations, their definitions are inconsistent across datasets, limiting robust training. Previous methods produce unlabeled decompositions or retrieve single parts without complete shape annotations. We propose ALIGN-Parts, which formulates part naming as a direct set alignment task. Our method decomposes shapes into partlets - implicit 3D part representations - matched to part descriptions via bipartite assignment. We combine geometric cues from 3D part fields, appearance from multi-view vision features, and semantic knowledge from language-model-generated affordance descriptions. Text-alignment loss ensures partlets share embedding space with text, enabling a theoretically open-vocabulary matching setup, given sufficient data. Our efficient and novel, one-shot, 3D part segmentation and naming method finds applications in several downstream tasks, including serving as a scalable annotation engine. As our model supports zero-shot matching to arbitrary descriptions and confidence-calibrated predictions for known categories, with human verification, we create a unified ontology that aligns PartNet, 3DCoMPaT++, and Find3D, consisting of 1,794 unique 3D parts. We also show examples from our newly created Tex-Parts dataset. We also introduce 2 novel metrics appropriate for the named 3D part segmentation task.