Individuare e Denominare le Parti: Segmentazione e Nomenclatura 3D delle Componenti

Name That Part: 3D Part Segmentation and Naming

December 19, 2025

Autori: Soumava Paul, Prakhar Kaushik, Ankit Vaidya, Anand Bhattad, Alan Yuille

cs.AI

Abstract

Affrontiamo il problema della segmentazione semantica di parti 3D: la scomposizione di oggetti in parti con nomi significativi. Sebbene esistano dataset con annotazioni di parti, le loro definizioni sono incoerenti tra i diversi dataset, limitando un addestramento robusto. I metodi precedenti producono scomposizioni prive di etichette o recuperano singole parti senza annotazioni complete della forma. Proponiamo ALIGN-Parts, che formula l'assegnazione di nomi alle parti come un compito diretto di allineamento di insiemi. Il nostro metodo scompone le forme in "partlet" - rappresentazioni implicite di parti 3D - abbinate alle descrizioni delle parti tramite assegnazione bipartita. Combiniamo indizi geometrici dai campi di parti 3D, l'aspetto visivo da caratteristiche di visione multi-vista e la conoscenza semantica da descrizioni di affordance generate da modelli linguistici. Una funzione di perdita di allineamento testuale garantisce che i partlet condividano lo spazio di incorporamento con il testo, abilitando una configurazione di matching teoricamente open-vocabulary, dati sufficienti dati. Il nostro metodo efficiente e innovativo, di segmentazione e denominazione di parti 3D one-shot, trova applicazione in diverse attività a valle, incluso l'uso come motore di annotazione scalabile. Poiché il nostro modello supporta il matching zero-shot a descrizioni arbitrarie e predizioni calibrate sulla confidenza per categorie note, con verifica umana, creiamo un'ontologia unificata che allinea PartNet, 3DCoMPaT++ e Find3D, composta da 1.794 parti 3D uniche. Mostriamo anche esempi dal nostro nuovo dataset Tex-Parts. Introduciamo inoltre 2 nuove metriche appropriate per il compito di segmentazione di parti 3D denominate.

English

We address semantic 3D part segmentation: decomposing objects into parts with meaningful names. While datasets exist with part annotations, their definitions are inconsistent across datasets, limiting robust training. Previous methods produce unlabeled decompositions or retrieve single parts without complete shape annotations. We propose ALIGN-Parts, which formulates part naming as a direct set alignment task. Our method decomposes shapes into partlets - implicit 3D part representations - matched to part descriptions via bipartite assignment. We combine geometric cues from 3D part fields, appearance from multi-view vision features, and semantic knowledge from language-model-generated affordance descriptions. Text-alignment loss ensures partlets share embedding space with text, enabling a theoretically open-vocabulary matching setup, given sufficient data. Our efficient and novel, one-shot, 3D part segmentation and naming method finds applications in several downstream tasks, including serving as a scalable annotation engine. As our model supports zero-shot matching to arbitrary descriptions and confidence-calibrated predictions for known categories, with human verification, we create a unified ontology that aligns PartNet, 3DCoMPaT++, and Find3D, consisting of 1,794 unique 3D parts. We also show examples from our newly created Tex-Parts dataset. We also introduce 2 novel metrics appropriate for the named 3D part segmentation task.