ULIP-2 : Vers un pré-entraînement multimodal évolutif pour la compréhension 3D

Résumé

Les récentes avancées dans les méthodes de pré-entraînement multimodal ont démontré une efficacité prometteuse dans l'apprentissage de représentations 3D en alignant les caractéristiques à travers la modalité 3D, sa modalité 2D correspondante et la modalité langagière associée. Cependant, les méthodes utilisées par les frameworks de pré-entraînement multimodal existants pour collecter des données multimodales pour les applications 3D manquent de scalabilité et d'exhaustivité, limitant potentiellement le plein potentiel de l'apprentissage multimodal. Le principal goulot d'étranglement réside dans la scalabilité et l'exhaustivité de la modalité langagière. Pour résoudre ce problème, nous introduisons ULIP-2, un framework de pré-entraînement multimodal qui exploite des modèles de langage multimodaux de pointe (LLMs) pré-entraînés sur des connaissances étendues pour générer automatiquement des descriptions langagières holistiques pour des objets 3D. Nous menons des expériences sur deux jeux de données à grande échelle, Objaverse et ShapeNet55, et publions nos jeux de données triplets à trois modalités (Nuage de points 3D - Image - Langage), nommés "ULIP-Objaverse Triplets" et "ULIP-ShapeNet Triplets". ULIP-2 ne nécessite que les données 3D elles-mêmes et élimine tout effort d'annotation manuelle, démontrant ainsi sa scalabilité ; et ULIP-2 obtient des améliorations remarquables dans la classification zero-shot en aval sur ModelNet40 (74% de précision Top1). De plus, ULIP-2 établit un nouveau record sur le benchmark ScanObjectNN en conditions réelles (91,5% de précision globale) tout en utilisant seulement 1,4 million de paramètres (~10 fois moins que l'état de l'art actuel), marquant une avancée majeure dans l'apprentissage de représentations 3D multimodal scalable sans annotations humaines. Le code et les jeux de données sont disponibles à l'adresse https://github.com/salesforce/ULIP.

English

Recent advancements in multimodal pre-training methods have shown promising efficacy in 3D representation learning by aligning features across 3D modality, their 2D counterpart modality, and corresponding language modality. However, the methods used by existing multimodal pre-training frameworks to gather multimodal data for 3D applications lack scalability and comprehensiveness, potentially constraining the full potential of multimodal learning. The main bottleneck lies in the language modality's scalability and comprehensiveness. To address this bottleneck, we introduce ULIP-2, a multimodal pre-training framework that leverages state-of-the-art multimodal large language models (LLMs) pre-trained on extensive knowledge to automatically generate holistic language counterparts for 3D objects. We conduct experiments on two large-scale datasets, Objaverse and ShapeNet55, and release our generated three-modality triplet datasets (3D Point Cloud - Image - Language), named "ULIP-Objaverse Triplets" and "ULIP-ShapeNet Triplets". ULIP-2 requires only 3D data itself and eliminates the need for any manual annotation effort, demonstrating its scalability; and ULIP-2 achieves remarkable improvements on downstream zero-shot classification on ModelNet40 (74% Top1 Accuracy). Moreover, ULIP-2 sets a new record on the real-world ScanObjectNN benchmark (91.5% Overall Accuracy) while utilizing only 1.4 million parameters(~10x fewer than current SOTA), signifying a breakthrough in scalable multimodal 3D representation learning without human annotations. The code and datasets are available at https://github.com/salesforce/ULIP.

ULIP-2 : Vers un pré-entraînement multimodal évolutif pour la compréhension 3D

ULIP-2: Towards Scalable Multimodal Pre-training For 3D Understanding

Résumé

Support