Naam Dat Onderdeel: 3D-onderdeelsegmentatie en -benoeming

Name That Part: 3D Part Segmentation and Naming

December 19, 2025

Auteurs: Soumava Paul, Prakhar Kaushik, Ankit Vaidya, Anand Bhattad, Alan Yuille

cs.AI

Samenvatting

Wij behandelen semantische 3D-onderdelen-segmentatie: het ontbinden van objecten in onderdelen met betekenisvolle namen. Hoewel er datasets bestaan met onderdeelannotaties, zijn hun definities inconsistent tussen datasets, wat robuuste training beperkt. Eerdere methoden produceren ongelabelde decomposities of halen enkele onderdelen op zonder volledige vormannotaties. Wij stellen ALIGN-Parts voor, dat onderdeelbenoeming formuleert als een directe set-aligneringstaak. Onze methode ontbindt vormen in partlets – impliciete 3D-onderdeelrepresentaties – die worden gekoppeld aan onderdeelbeschrijvingen via bipartiete toewijzing. Wij combineren geometrische aanwijzingen uit 3D-onderdeelvelden, uiterlijk uit multi-view visuele kenmerken, en semantische kennis uit door taalmodellen gegenereerde affordance-beschrijvingen. Text-aligneringsverlies zorgt ervoor dat partlets de embeddingruimte delen met tekst, wat een theoretisch open-vocabularium koppelingsopzet mogelijk maakt, mits voldoende data beschikbaar is. Onze efficiënte en nieuwe, one-shot, 3D-onderdelen-segmentatie- en benoemingsmethode vindt toepassingen in verschillende downstreamtaken, waaronder als een schaalbare annotatie-engine. Omdat ons model zero-shot koppeling aan willekeurige beschrijvingen ondersteunt en betrouwbaarheidsgecalibreerde voorspellingen voor bekende categorieën biedt, creëren wij met menselijke verificatie een uniforme ontologie die PartNet, 3DCoMPaT++ en Find3D aligneert, bestaande uit 1.794 unieke 3D-onderdelen. Wij tonen ook voorbeelden uit onze nieuw gecreëerde Tex-Parts dataset. Wij introduceren tevens 2 nieuwe metrieken die geschikt zijn voor de benoemde 3D-onderdelen-segmentatietaak.

English

We address semantic 3D part segmentation: decomposing objects into parts with meaningful names. While datasets exist with part annotations, their definitions are inconsistent across datasets, limiting robust training. Previous methods produce unlabeled decompositions or retrieve single parts without complete shape annotations. We propose ALIGN-Parts, which formulates part naming as a direct set alignment task. Our method decomposes shapes into partlets - implicit 3D part representations - matched to part descriptions via bipartite assignment. We combine geometric cues from 3D part fields, appearance from multi-view vision features, and semantic knowledge from language-model-generated affordance descriptions. Text-alignment loss ensures partlets share embedding space with text, enabling a theoretically open-vocabulary matching setup, given sufficient data. Our efficient and novel, one-shot, 3D part segmentation and naming method finds applications in several downstream tasks, including serving as a scalable annotation engine. As our model supports zero-shot matching to arbitrary descriptions and confidence-calibrated predictions for known categories, with human verification, we create a unified ontology that aligns PartNet, 3DCoMPaT++, and Find3D, consisting of 1,794 unique 3D parts. We also show examples from our newly created Tex-Parts dataset. We also introduce 2 novel metrics appropriate for the named 3D part segmentation task.