Vind elk onderdeel in 3D.

Find Any Part in 3D

November 20, 2024

Auteurs: Ziqi Ma, Yisong Yue, Georgia Gkioxari

cs.AI

Samenvatting

We bestuderen open-world deelsegmentatie in 3D: het segmenteren van elk deel in elk object op basis van elke tekstquery. Vorige methoden zijn beperkt in objectcategorieën en deelwoordenboeken. Recente vooruitgang in AI heeft effectieve open-world herkenningsmogelijkheden in 2D aangetoond. Geïnspireerd door deze vooruitgang stellen we een open-world, direct-voorspellend model voor 3D deelsegmentatie voor dat zero-shot kan worden toegepast op elk object. Onze aanpak, genaamd Find3D, traint een algemeen-categorie punt-embeddingmodel op grootschalige 3D-middelen van het internet zonder enige menselijke annotatie. Het combineert een data-engine, aangedreven door foundation-modellen voor het annoteren van gegevens, met een contrastieve trainingsmethode. We behalen sterke prestaties en generalisatie over meerdere datasets, met tot wel 3x verbetering in mIoU ten opzichte van de op één na beste methode. Ons model is 6x tot meer dan 300x sneller dan bestaande baselines. Om onderzoek naar algemene-categorie open-world 3D deelsegmentatie aan te moedigen, brengen we ook een benchmark uit voor algemene objecten en delen. Projectwebsite: https://ziqi-ma.github.io/find3dsite/

English

We study open-world part segmentation in 3D: segmenting any part in any object based on any text query. Prior methods are limited in object categories and part vocabularies. Recent advances in AI have demonstrated effective open-world recognition capabilities in 2D. Inspired by this progress, we propose an open-world, direct-prediction model for 3D part segmentation that can be applied zero-shot to any object. Our approach, called Find3D, trains a general-category point embedding model on large-scale 3D assets from the internet without any human annotation. It combines a data engine, powered by foundation models for annotating data, with a contrastive training method. We achieve strong performance and generalization across multiple datasets, with up to a 3x improvement in mIoU over the next best method. Our model is 6x to over 300x faster than existing baselines. To encourage research in general-category open-world 3D part segmentation, we also release a benchmark for general objects and parts. Project website: https://ziqi-ma.github.io/find3dsite/