ULIP-2: Op weg naar schaalbare multimodale voorafgaande training voor 3D-begrip

Samenvatting

Recente vooruitgang in multimodale voorafgaande trainingsmethoden heeft veelbelovende effectiviteit getoond bij het leren van 3D-representaties door kenmerken af te stemmen over de 3D-modaliteit, hun 2D-tegenhanger en de bijbehorende taalmodaliteit. De methoden die door bestaande multimodale voorafgaande trainingsframeworks worden gebruikt om multimodale gegevens voor 3D-toepassingen te verzamelen, missen echter schaalbaarheid en volledigheid, wat het volledige potentieel van multimodaal leren mogelijk beperkt. De belangrijkste bottleneck ligt in de schaalbaarheid en volledigheid van de taalmodaliteit. Om deze bottleneck aan te pakken, introduceren we ULIP-2, een multimodaal voorafgaand trainingsframework dat gebruikmaakt van state-of-the-art multimodale grote taalmodellen (LLMs) die vooraf zijn getraind op uitgebreide kennis om automatisch holistische taal-tegenhangers voor 3D-objecten te genereren. We voeren experimenten uit op twee grootschalige datasets, Objaverse en ShapeNet55, en geven onze gegenereerde drie-modaliteit triplet-datasets vrij (3D Point Cloud - Afbeelding - Taal), genaamd "ULIP-Objaverse Triplets" en "ULIP-ShapeNet Triplets". ULIP-2 vereist alleen 3D-gegevens zelf en elimineert de noodzaak van handmatige annotatie-inspanningen, wat de schaalbaarheid aantoont; en ULIP-2 behaalt opmerkelijke verbeteringen bij downstream zero-shot classificatie op ModelNet40 (74% Top1 Nauwkeurigheid). Bovendien vestigt ULIP-2 een nieuw record op de real-world ScanObjectNN benchmark (91,5% Algemene Nauwkeurigheid) terwijl het slechts 1,4 miljoen parameters gebruikt (~10x minder dan de huidige SOTA), wat een doorbraak betekent in schaalbare multimodale 3D-representatie leren zonder menselijke annotaties. De code en datasets zijn beschikbaar op https://github.com/salesforce/ULIP.

English

Recent advancements in multimodal pre-training methods have shown promising efficacy in 3D representation learning by aligning features across 3D modality, their 2D counterpart modality, and corresponding language modality. However, the methods used by existing multimodal pre-training frameworks to gather multimodal data for 3D applications lack scalability and comprehensiveness, potentially constraining the full potential of multimodal learning. The main bottleneck lies in the language modality's scalability and comprehensiveness. To address this bottleneck, we introduce ULIP-2, a multimodal pre-training framework that leverages state-of-the-art multimodal large language models (LLMs) pre-trained on extensive knowledge to automatically generate holistic language counterparts for 3D objects. We conduct experiments on two large-scale datasets, Objaverse and ShapeNet55, and release our generated three-modality triplet datasets (3D Point Cloud - Image - Language), named "ULIP-Objaverse Triplets" and "ULIP-ShapeNet Triplets". ULIP-2 requires only 3D data itself and eliminates the need for any manual annotation effort, demonstrating its scalability; and ULIP-2 achieves remarkable improvements on downstream zero-shot classification on ModelNet40 (74% Top1 Accuracy). Moreover, ULIP-2 sets a new record on the real-world ScanObjectNN benchmark (91.5% Overall Accuracy) while utilizing only 1.4 million parameters(~10x fewer than current SOTA), signifying a breakthrough in scalable multimodal 3D representation learning without human annotations. The code and datasets are available at https://github.com/salesforce/ULIP.

ULIP-2: Op weg naar schaalbare multimodale voorafgaande training voor 3D-begrip

ULIP-2: Towards Scalable Multimodal Pre-training For 3D Understanding

Samenvatting

Support