Benenne das Teil: 3D-Teilesegmentierung und Benennung

papers.abstract

Wir behandeln die semantische 3D-Teilesegmentierung: die Zerlegung von Objekten in Teile mit bedeutungsvollen Bezeichnungen. Obwohl Datensätze mit Teilannotationen existieren, sind deren Definitionen zwischen den Datensätzen inkonsistent, was ein robustes Training einschränkt. Bisherige Methoden erzeugen unbezeichnete Zerlegungen oder ermitteln einzelne Teile ohne vollständige Formannotationen. Wir schlagen ALIGN-Parts vor, das die Teilbenennung als direkte Mengenausrichtung formuliert. Unsere Methode zerlegt Formen in Partlets – implizite 3D-Teilrepräsentationen –, die über eine bipartite Zuordnung mit Teilbeschreibungen abgeglichen werden. Wir kombinieren geometrische Hinweise aus 3D-Teilfeldern, Erscheinungsmerkmale aus Multi-View-Vision-Features und semantisches Wissen aus sprachmodellgenerierten Affordanz-Beschreibungen. Ein Textalignierungsverlust stellt sicher, dass Partlets den Embedding-Raum mit dem Text teilen, was einen theoretisch offenen Vokabular-Abgleich ermöglicht, sofern ausreichend Daten vorhanden sind. Unsere effiziente und neuartige One-Shot-Methode zur 3D-Teilesegmentierung und -benennung findet Anwendung in mehreren nachgelagerten Aufgaben, einschließlich als skalierbare Annotations-Engine. Da unser Modell Zero-Shot-Abgleich mit beliebigen Beschreibungen und konfidenzkalibrierte Vorhersagen für bekannte Kategorien unterstützt, erstellen wir mit menschlicher Verifikation eine einheitliche Ontologie, die PartNet, 3DCoMPaT++ und Find3D abgleicht und aus 1.794 einzigartigen 3D-Teilen besteht. Wir zeigen auch Beispiele aus unserem neu erstellten Tex-Parts-Datensatz. Zudem führen wir zwei neue Metriken ein, die für die Aufgabe der benannten 3D-Teilesegmentierung geeignet sind.

English

We address semantic 3D part segmentation: decomposing objects into parts with meaningful names. While datasets exist with part annotations, their definitions are inconsistent across datasets, limiting robust training. Previous methods produce unlabeled decompositions or retrieve single parts without complete shape annotations. We propose ALIGN-Parts, which formulates part naming as a direct set alignment task. Our method decomposes shapes into partlets - implicit 3D part representations - matched to part descriptions via bipartite assignment. We combine geometric cues from 3D part fields, appearance from multi-view vision features, and semantic knowledge from language-model-generated affordance descriptions. Text-alignment loss ensures partlets share embedding space with text, enabling a theoretically open-vocabulary matching setup, given sufficient data. Our efficient and novel, one-shot, 3D part segmentation and naming method finds applications in several downstream tasks, including serving as a scalable annotation engine. As our model supports zero-shot matching to arbitrary descriptions and confidence-calibrated predictions for known categories, with human verification, we create a unified ontology that aligns PartNet, 3DCoMPaT++, and Find3D, consisting of 1,794 unique 3D parts. We also show examples from our newly created Tex-Parts dataset. We also introduce 2 novel metrics appropriate for the named 3D part segmentation task.

Benenne das Teil: 3D-Teilesegmentierung und Benennung

Name That Part: 3D Part Segmentation and Naming

papers.abstract

Support