Nommez cette pièce : Segmentation et dénomination 3D des composants

papers.abstract

Nous abordons la segmentation sémantique 3D de pièces : la décomposition d'objets en parties dotées de noms significatifs. Bien qu'il existe des jeux de données avec des annotations de pièces, leurs définitions sont incohérentes d'un jeu à l'autre, ce qui limite un apprentissage robuste. Les méthodes antérieures produisent des décompositions non étiquetées ou récupèrent des pièces individuelles sans annotations complètes de la forme. Nous proposons ALIGN-Parts, qui formule la dénomination des pièces comme une tâche d'alignement d'ensembles directe. Notre méthode décompose les formes en « partlets » – des représentations implicites de pièces 3D – appariées à des descriptions de pièces via une assignation bipartite. Nous combinons des indices géométriques provenant de champs de pièces 3D, l'apparence à partir de caractéristiques visuelles multi-vues et des connaissances sémantiques issues de descriptions d'affordances générées par des modèles de langage. Une perte d'alignement textuel garantit que les partlets partagent l'espace d'incorporation avec le texte, permettant théoriquement une configuration d'appariement à vocabulaire ouvert, sous réserve de données suffisantes. Notre méthode efficace et novatrice de segmentation et de dénomination de pièces 3D en une seule passe trouve des applications dans plusieurs tâches en aval, notamment comme moteur d'annotation scalable. Comme notre modèle prend en charge l'appariement zero-shot à des descriptions arbitraires et des prédictions à confiance calibrée pour les catégories connues, nous créons, avec vérification humaine, une ontologie unifiée qui aligne PartNet, 3DCoMPaT++ et Find3D, comprenant 1 794 pièces 3D uniques. Nous présentons également des exemples de notre nouveau jeu de données Tex-Parts. Nous introduisons aussi deux nouvelles métriques adaptées à la tâche de segmentation de pièces 3D nommées.

English

We address semantic 3D part segmentation: decomposing objects into parts with meaningful names. While datasets exist with part annotations, their definitions are inconsistent across datasets, limiting robust training. Previous methods produce unlabeled decompositions or retrieve single parts without complete shape annotations. We propose ALIGN-Parts, which formulates part naming as a direct set alignment task. Our method decomposes shapes into partlets - implicit 3D part representations - matched to part descriptions via bipartite assignment. We combine geometric cues from 3D part fields, appearance from multi-view vision features, and semantic knowledge from language-model-generated affordance descriptions. Text-alignment loss ensures partlets share embedding space with text, enabling a theoretically open-vocabulary matching setup, given sufficient data. Our efficient and novel, one-shot, 3D part segmentation and naming method finds applications in several downstream tasks, including serving as a scalable annotation engine. As our model supports zero-shot matching to arbitrary descriptions and confidence-calibrated predictions for known categories, with human verification, we create a unified ontology that aligns PartNet, 3DCoMPaT++, and Find3D, consisting of 1,794 unique 3D parts. We also show examples from our newly created Tex-Parts dataset. We also introduce 2 novel metrics appropriate for the named 3D part segmentation task.

Nommez cette pièce : Segmentation et dénomination 3D des composants

Name That Part: 3D Part Segmentation and Naming

papers.abstract

Support