3D内の任意の部位を見つける

Find Any Part in 3D

November 20, 2024

著者: Ziqi Ma, Yisong Yue, Georgia Gkioxari

cs.AI

要旨

3Dにおけるオープンワールドの部位セグメンテーションを研究しています：任意のテキストクエリに基づいて、任意のオブジェクト内の任意の部位をセグメント化します。従来の手法はオブジェクトカテゴリや部位語彙に制限がありました。AIの最近の進歩により、2Dでの効果的なオープンワールド認識能力が示されています。この進歩に触発され、私たちは、どのオブジェクトにもゼロショットで適用できる3D部位セグメンテーションのためのオープンワールド、直接予測モデルを提案します。私たちの手法であるFind3Dは、インターネットからの大規模な3Dアセットで一般カテゴリのポイント埋め込みモデルを人間の注釈なしでトレーニングします。これには、データを注釈付けするための基盤モデルによってパワーアップされたデータエンジンと、コントラスティブトレーニング手法が組み合わされています。私たちは、次にベストな手法に比べてmIoUで最大3倍の改善を達成し、複数のデータセットで強力なパフォーマンスと汎化を実現しています。私たちのモデルは、既存のベースラインよりも6倍から300倍以上高速です。一般カテゴリのオープンワールド3D部位セグメンテーションの研究を促進するために、一般オブジェクトと部位のためのベンチマークも公開しています。プロジェクトのウェブサイト：https://ziqi-ma.github.io/find3dsite/

English

We study open-world part segmentation in 3D: segmenting any part in any object based on any text query. Prior methods are limited in object categories and part vocabularies. Recent advances in AI have demonstrated effective open-world recognition capabilities in 2D. Inspired by this progress, we propose an open-world, direct-prediction model for 3D part segmentation that can be applied zero-shot to any object. Our approach, called Find3D, trains a general-category point embedding model on large-scale 3D assets from the internet without any human annotation. It combines a data engine, powered by foundation models for annotating data, with a contrastive training method. We achieve strong performance and generalization across multiple datasets, with up to a 3x improvement in mIoU over the next best method. Our model is 6x to over 300x faster than existing baselines. To encourage research in general-category open-world 3D part segmentation, we also release a benchmark for general objects and parts. Project website: https://ziqi-ma.github.io/find3dsite/