Найти любую часть в 3D

Find Any Part in 3D

November 20, 2024

Авторы: Ziqi Ma, Yisong Yue, Georgia Gkioxari

cs.AI

Аннотация

Мы изучаем сегментацию частей в открытом мире в 3D: сегментация любой части в любом объекте на основе любого текстового запроса. Ранее использованные методы ограничены категориями объектов и словарями частей. Недавние достижения в области искусственного интеллекта продемонстрировали эффективные возможности распознавания в открытом мире в 2D. Вдохновленные этим прогрессом, мы предлагаем модель прямого предсказания для сегментации частей в 3D в открытом мире, которая может быть применена нулевым шагом к любому объекту. Наш подход, названный Find3D, обучает общую модель встраивания точек на крупномасштабных 3D-ресурсах из интернета без какой-либо аннотации человека. Он объединяет движок данных, основанный на базовых моделях для аннотации данных, с контрастным методом обучения. Мы достигаем высокой производительности и обобщения на нескольких наборах данных, с улучшением mIoU до 3 раз по сравнению с следующим лучшим методом. Наша модель работает в 6-300 раз быстрее, чем существующие базовые модели. Для поощрения исследований в сегментации частей в открытом мире общей категории в 3D, мы также выпустили бенчмарк для общих объектов и частей. Веб-сайт проекта: https://ziqi-ma.github.io/find3dsite/

English

We study open-world part segmentation in 3D: segmenting any part in any object based on any text query. Prior methods are limited in object categories and part vocabularies. Recent advances in AI have demonstrated effective open-world recognition capabilities in 2D. Inspired by this progress, we propose an open-world, direct-prediction model for 3D part segmentation that can be applied zero-shot to any object. Our approach, called Find3D, trains a general-category point embedding model on large-scale 3D assets from the internet without any human annotation. It combines a data engine, powered by foundation models for annotating data, with a contrastive training method. We achieve strong performance and generalization across multiple datasets, with up to a 3x improvement in mIoU over the next best method. Our model is 6x to over 300x faster than existing baselines. To encourage research in general-category open-world 3D part segmentation, we also release a benchmark for general objects and parts. Project website: https://ziqi-ma.github.io/find3dsite/