Nombra esa Parte: Segmentación y Denominación de Partes en 3D

Name That Part: 3D Part Segmentation and Naming

December 19, 2025

Autores: Soumava Paul, Prakhar Kaushik, Ankit Vaidya, Anand Bhattad, Alan Yuille

cs.AI

Resumen

Abordamos la segmentación semántica de partes 3D: descomponer objetos en partes con nombres significativos. Si bien existen conjuntos de datos con anotaciones de partes, sus definiciones son inconsistentes entre ellos, lo que limita el entrenamiento robusto. Los métodos anteriores producen descomposiciones sin etiquetar o recuperan partes individuales sin anotaciones completas de la forma. Proponemos ALIGN-Parts, que formula la asignación de nombres a partes como una tarea directa de alineación de conjuntos. Nuestro método descompone las formas en *partlets* —representaciones implícitas de partes 3D— que se emparejan con descripciones de partes mediante una asignación bipartita. Combinamos indicios geométricos de campos de partes 3D, apariencia a partir de características visuales multi-vista y conocimiento semántico de descripciones de affordances generadas por modelos de lenguaje. Una pérdida por alineación de texto garantiza que los *partlets* compartan el espacio de incrustación con el texto, permitiendo una configuración de emparejamiento de vocabulario abierto en teoría, dados suficientes datos. Nuestro método eficiente y novedoso de segmentación y nombrado de partes 3D en una sola pasada encuentra aplicaciones en varias tareas posteriores, incluido su uso como motor de anotación escalable. Dado que nuestro modelo admite el emparejamiento *zero-shot* con descripciones arbitrarias y predicciones calibradas por confianza para categorías conocidas, con verificación humana, creamos una ontología unificada que alinea PartNet, 3DCoMPaT++ y Find3D, consistente en 1.794 partes 3D únicas. También mostramos ejemplos de nuestro nuevo conjunto de datos Tex-Parts. Además, introducimos 2 métricas novedosas apropiadas para la tarea de segmentación de partes 3D con nombre.

English

We address semantic 3D part segmentation: decomposing objects into parts with meaningful names. While datasets exist with part annotations, their definitions are inconsistent across datasets, limiting robust training. Previous methods produce unlabeled decompositions or retrieve single parts without complete shape annotations. We propose ALIGN-Parts, which formulates part naming as a direct set alignment task. Our method decomposes shapes into partlets - implicit 3D part representations - matched to part descriptions via bipartite assignment. We combine geometric cues from 3D part fields, appearance from multi-view vision features, and semantic knowledge from language-model-generated affordance descriptions. Text-alignment loss ensures partlets share embedding space with text, enabling a theoretically open-vocabulary matching setup, given sufficient data. Our efficient and novel, one-shot, 3D part segmentation and naming method finds applications in several downstream tasks, including serving as a scalable annotation engine. As our model supports zero-shot matching to arbitrary descriptions and confidence-calibrated predictions for known categories, with human verification, we create a unified ontology that aligns PartNet, 3DCoMPaT++, and Find3D, consisting of 1,794 unique 3D parts. We also show examples from our newly created Tex-Parts dataset. We also introduce 2 novel metrics appropriate for the named 3D part segmentation task.