OpenShape: オープンワールド理解に向けた3D形状表現のスケーリングアップ

要旨

本論文では、テキスト、画像、点群の多モーダルな結合表現を学習する手法であるOpenShapeを紹介する。我々は、表現のアラインメントのために一般的に使用される多モーダル対比学習フレームワークを採用するが、特に3D表現のスケールアップに焦点を当て、オープンワールドの3D形状理解を可能にする。これを実現するために、複数の3Dデータセットをアンサンブルしてトレーニングデータをスケールアップし、ノイズの多いテキスト記述を自動的にフィルタリングおよび充実させるためのいくつかの戦略を提案する。また、3Dバックボーンネットワークのスケーリング戦略を探求・比較し、より効率的なトレーニングのための新しいハードネガティブマイニングモジュールを導入する。我々は、ゼロショット3D分類ベンチマークにおいてOpenShapeを評価し、オープンワールド認識におけるその優れた能力を実証する。具体的には、OpenShapeは1,156カテゴリのObjaverse-LVISベンチマークにおいて46.8%のゼロショット精度を達成し、既存の手法の10%未満と比較して大幅な向上を示す。また、ModelNet40において85.3%の精度を達成し、従来のゼロショットベースライン手法を20%上回り、一部の完全教師あり手法と同等の性能を発揮する。さらに、我々の学習した埋め込みが、サブカテゴリ、色、形状、スタイルなど、幅広い視覚的および意味的概念をエンコードし、きめ細かいテキスト-3Dおよび画像-3Dの相互作用を促進することを示す。CLIP埋め込みとの整合性により、我々の学習した形状表現は、点群キャプショニングや点群条件付き画像生成など、様々なアプリケーションにおいて、既存のCLIPベースのモデルと統合することも可能である。

English

We introduce OpenShape, a method for learning multi-modal joint representations of text, image, and point clouds. We adopt the commonly used multi-modal contrastive learning framework for representation alignment, but with a specific focus on scaling up 3D representations to enable open-world 3D shape understanding. To achieve this, we scale up training data by ensembling multiple 3D datasets and propose several strategies to automatically filter and enrich noisy text descriptions. We also explore and compare strategies for scaling 3D backbone networks and introduce a novel hard negative mining module for more efficient training. We evaluate OpenShape on zero-shot 3D classification benchmarks and demonstrate its superior capabilities for open-world recognition. Specifically, OpenShape achieves a zero-shot accuracy of 46.8% on the 1,156-category Objaverse-LVIS benchmark, compared to less than 10% for existing methods. OpenShape also achieves an accuracy of 85.3% on ModelNet40, outperforming previous zero-shot baseline methods by 20% and performing on par with some fully-supervised methods. Furthermore, we show that our learned embeddings encode a wide range of visual and semantic concepts (e.g., subcategories, color, shape, style) and facilitate fine-grained text-3D and image-3D interactions. Due to their alignment with CLIP embeddings, our learned shape representations can also be integrated with off-the-shelf CLIP-based models for various applications, such as point cloud captioning and point cloud-conditioned image generation.

OpenShape: オープンワールド理解に向けた3D形状表現のスケーリングアップ

OpenShape: Scaling Up 3D Shape Representation Towards Open-World Understanding

要旨

Support