ULIP-2: スケーラブルなマルチモーダル事前学習による3D理解へのアプローチ

要旨

近年のマルチモーダル事前学習手法の進展により、3Dモダリティ、その2D対応モダリティ、および対応する言語モダリティ間の特徴を整合させることで、3D表現学習において有望な効果が示されています。しかし、既存のマルチモーダル事前学習フレームワークが3Dアプリケーション向けにマルチモーダルデータを収集する方法は、拡張性と包括性に欠けており、マルチモーダル学習の全体的な可能性を制限している可能性があります。主なボトルネックは、言語モダリティの拡張性と包括性にあります。このボトルネックに対処するため、我々はULIP-2を導入します。これは、広範な知識に基づいて事前学習された最先端のマルチモーダル大規模言語モデル（LLM）を活用して、3Dオブジェクトの包括的な言語対応を自動生成するマルチモーダル事前学習フレームワークです。我々は、ObjaverseとShapeNet55という2つの大規模データセットで実験を行い、生成された3モダリティのトリプレットデータセット（3D点群 - 画像 - 言語）を「ULIP-Objaverse Triplets」および「ULIP-ShapeNet Triplets」として公開しました。ULIP-2は3Dデータのみを必要とし、手動のアノテーション作業を一切不要とすることで、その拡張性を実証しています。また、ULIP-2はModelNet40における下流のゼロショット分類で顕著な改善（74%のTop1精度）を達成しました。さらに、ULIP-2は実世界のScanObjectNNベンチマークで新記録（91.5%の全体精度）を樹立し、わずか140万パラメータ（現在のSOTAの約10分の1）を使用することで、人間のアノテーションなしでの拡張可能なマルチモーダル3D表現学習におけるブレークスルーを示しました。コードとデータセットはhttps://github.com/salesforce/ULIPで公開されています。

English

Recent advancements in multimodal pre-training methods have shown promising efficacy in 3D representation learning by aligning features across 3D modality, their 2D counterpart modality, and corresponding language modality. However, the methods used by existing multimodal pre-training frameworks to gather multimodal data for 3D applications lack scalability and comprehensiveness, potentially constraining the full potential of multimodal learning. The main bottleneck lies in the language modality's scalability and comprehensiveness. To address this bottleneck, we introduce ULIP-2, a multimodal pre-training framework that leverages state-of-the-art multimodal large language models (LLMs) pre-trained on extensive knowledge to automatically generate holistic language counterparts for 3D objects. We conduct experiments on two large-scale datasets, Objaverse and ShapeNet55, and release our generated three-modality triplet datasets (3D Point Cloud - Image - Language), named "ULIP-Objaverse Triplets" and "ULIP-ShapeNet Triplets". ULIP-2 requires only 3D data itself and eliminates the need for any manual annotation effort, demonstrating its scalability; and ULIP-2 achieves remarkable improvements on downstream zero-shot classification on ModelNet40 (74% Top1 Accuracy). Moreover, ULIP-2 sets a new record on the real-world ScanObjectNN benchmark (91.5% Overall Accuracy) while utilizing only 1.4 million parameters(~10x fewer than current SOTA), signifying a breakthrough in scalable multimodal 3D representation learning without human annotations. The code and datasets are available at https://github.com/salesforce/ULIP.

ULIP-2: スケーラブルなマルチモーダル事前学習による3D理解へのアプローチ

ULIP-2: Towards Scalable Multimodal Pre-training For 3D Understanding

要旨

Support