ULIP-2: Verso un Pre-addestramento Multimodale Scalabile per la Comprensione 3D

Abstract

I recenti progressi nei metodi di pre-addestramento multimodale hanno dimostrato un'efficacia promettente nell'apprendimento di rappresentazioni 3D, allineando le caratteristiche tra la modalità 3D, la sua controparte 2D e la corrispondente modalità linguistica. Tuttavia, i metodi utilizzati dai framework di pre-addestramento multimodale esistenti per raccogliere dati multimodali per applicazioni 3D mancano di scalabilità e completezza, potenzialmente limitando il pieno potenziale dell'apprendimento multimodale. Il principale collo di bottiglia risiede nella scalabilità e completezza della modalità linguistica. Per affrontare questo problema, introduciamo ULIP-2, un framework di pre-addestramento multimodale che sfrutta modelli linguistici multimodali all'avanguardia (LLM) pre-addestrati su una vasta conoscenza per generare automaticamente controparti linguistiche olistiche per oggetti 3D. Abbiamo condotto esperimenti su due dataset su larga scala, Objaverse e ShapeNet55, e rilasciato i nostri dataset di triplette a tre modalità (Nube di Punti 3D - Immagine - Linguaggio), denominati "ULIP-Objaverse Triplets" e "ULIP-ShapeNet Triplets". ULIP-2 richiede solo i dati 3D stessi ed elimina la necessità di qualsiasi annotazione manuale, dimostrando la sua scalabilità; e ULIP-2 raggiunge miglioramenti significativi nella classificazione zero-shot su ModelNet40 (74% di accuratezza Top1). Inoltre, ULIP-2 stabilisce un nuovo record sul benchmark del mondo reale ScanObjectNN (91,5% di accuratezza complessiva) utilizzando solo 1,4 milioni di parametri (circa 10 volte in meno rispetto allo stato dell'arte attuale), segnando una svolta nell'apprendimento di rappresentazioni 3D multimodali scalabili senza annotazioni umane. Il codice e i dataset sono disponibili su https://github.com/salesforce/ULIP.

English

Recent advancements in multimodal pre-training methods have shown promising efficacy in 3D representation learning by aligning features across 3D modality, their 2D counterpart modality, and corresponding language modality. However, the methods used by existing multimodal pre-training frameworks to gather multimodal data for 3D applications lack scalability and comprehensiveness, potentially constraining the full potential of multimodal learning. The main bottleneck lies in the language modality's scalability and comprehensiveness. To address this bottleneck, we introduce ULIP-2, a multimodal pre-training framework that leverages state-of-the-art multimodal large language models (LLMs) pre-trained on extensive knowledge to automatically generate holistic language counterparts for 3D objects. We conduct experiments on two large-scale datasets, Objaverse and ShapeNet55, and release our generated three-modality triplet datasets (3D Point Cloud - Image - Language), named "ULIP-Objaverse Triplets" and "ULIP-ShapeNet Triplets". ULIP-2 requires only 3D data itself and eliminates the need for any manual annotation effort, demonstrating its scalability; and ULIP-2 achieves remarkable improvements on downstream zero-shot classification on ModelNet40 (74% Top1 Accuracy). Moreover, ULIP-2 sets a new record on the real-world ScanObjectNN benchmark (91.5% Overall Accuracy) while utilizing only 1.4 million parameters(~10x fewer than current SOTA), signifying a breakthrough in scalable multimodal 3D representation learning without human annotations. The code and datasets are available at https://github.com/salesforce/ULIP.

ULIP-2: Verso un Pre-addestramento Multimodale Scalabile per la Comprensione 3D

ULIP-2: Towards Scalable Multimodal Pre-training For 3D Understanding

Abstract

Support