ULIP-2: Auf dem Weg zu skalierbarem multimodalen Pre-Training für 3D-Verständnis

Zusammenfassung

Jüngste Fortschritte in multimodalen Vorverfahrensmethoden haben vielversprechende Wirksamkeit beim Lernen von 3D-Repräsentationen durch die Ausrichtung von Merkmalen über die 3D-Modalität, ihre 2D-Gegenstückmodalität und die entsprechende Sprachmodalität gezeigt. Die Methoden, die von bestehenden multimodalen Vorverfahrensrahmen zur Sammlung multimodaler Daten für 3D-Anwendungen verwendet werden, mangeln jedoch an Skalierbarkeit und Umfassendheit, was das volle Potenzial des multimodalen Lernens möglicherweise einschränkt. Der Hauptengpass liegt in der Skalierbarkeit und Umfassendheit der Sprachmodalität. Um diesen Engpass zu beheben, stellen wir ULIP-2 vor, einen multimodalen Vorverfahrensrahmen, der modernste multimodale Large Language Models (LLMs) nutzt, die auf umfangreichem Wissen vortrainiert wurden, um automatisch ganzheitliche Sprachgegenstücke für 3D-Objekte zu generieren. Wir führen Experimente mit zwei groß angelegten Datensätzen, Objaverse und ShapeNet55, durch und veröffentlichen unsere generierten Dreimodalen-Tripel-Datensätze (3D-Punktwolke - Bild - Sprache), benannt „ULIP-Objaverse-Triplets“ und „ULIP-ShapeNet-Triplets“. ULIP-2 benötigt lediglich die 3D-Daten selbst und eliminiert den Bedarf an manuellen Annotationsbemühungen, was seine Skalierbarkeit demonstriert; und ULIP-2 erzielt bemerkenswerte Verbesserungen bei der nachgelagerten Zero-Shot-Klassifikation auf ModelNet40 (74 % Top1-Genauigkeit). Darüber hinaus setzt ULIP-2 einen neuen Rekord auf dem realen ScanObjectNN-Benchmark (91,5 % Gesamtgenauigkeit) bei der Nutzung von nur 1,4 Millionen Parametern (~10x weniger als der aktuelle SOTA), was einen Durchbruch im skalierbaren multimodalen 3D-Repräsentationslernen ohne menschliche Annotationen darstellt. Der Code und die Datensätze sind unter https://github.com/salesforce/ULIP verfügbar.

English

Recent advancements in multimodal pre-training methods have shown promising efficacy in 3D representation learning by aligning features across 3D modality, their 2D counterpart modality, and corresponding language modality. However, the methods used by existing multimodal pre-training frameworks to gather multimodal data for 3D applications lack scalability and comprehensiveness, potentially constraining the full potential of multimodal learning. The main bottleneck lies in the language modality's scalability and comprehensiveness. To address this bottleneck, we introduce ULIP-2, a multimodal pre-training framework that leverages state-of-the-art multimodal large language models (LLMs) pre-trained on extensive knowledge to automatically generate holistic language counterparts for 3D objects. We conduct experiments on two large-scale datasets, Objaverse and ShapeNet55, and release our generated three-modality triplet datasets (3D Point Cloud - Image - Language), named "ULIP-Objaverse Triplets" and "ULIP-ShapeNet Triplets". ULIP-2 requires only 3D data itself and eliminates the need for any manual annotation effort, demonstrating its scalability; and ULIP-2 achieves remarkable improvements on downstream zero-shot classification on ModelNet40 (74% Top1 Accuracy). Moreover, ULIP-2 sets a new record on the real-world ScanObjectNN benchmark (91.5% Overall Accuracy) while utilizing only 1.4 million parameters(~10x fewer than current SOTA), signifying a breakthrough in scalable multimodal 3D representation learning without human annotations. The code and datasets are available at https://github.com/salesforce/ULIP.

ULIP-2: Auf dem Weg zu skalierbarem multimodalen Pre-Training für 3D-Verständnis

ULIP-2: Towards Scalable Multimodal Pre-training For 3D Understanding

Zusammenfassung

Support