ULIP-2: 확장 가능한 3D 이해를 위한 멀티모달 사전 학습 모델

초록

최근 멀티모달 사전 학습 방법의 발전은 3D 모달리티, 그에 대응하는 2D 모달리티, 그리고 해당 언어 모달리티 간의 특징을 정렬함으로써 3D 표현 학습에서 유망한 효능을 보여주고 있습니다. 그러나 기존 멀티모달 사전 학습 프레임워크가 3D 애플리케이션을 위해 멀티모달 데이터를 수집하는 데 사용하는 방법은 확장성과 포괄성이 부족하여 멀티모달 학습의 전체 잠재력을 제한할 가능성이 있습니다. 주요 병목 현상은 언어 모달리티의 확장성과 포괄성에 있습니다. 이 병목 현상을 해결하기 위해, 우리는 최첨단 멀티모달 대형 언어 모델(LLM)을 활용하여 3D 객체에 대한 포괄적인 언어 대응물을 자동으로 생성하는 멀티모달 사전 학습 프레임워크인 ULIP-2를 소개합니다. 우리는 Objaverse와 ShapeNet55라는 두 대규모 데이터셋에 대해 실험을 수행하고, 생성된 세 가지 모달리티 트리플릿 데이터셋(3D 포인트 클라우드 - 이미지 - 언어)인 "ULIP-Objaverse Triplets"와 "ULIP-ShapeNet Triplets"를 공개합니다. ULIP-2는 3D 데이터 자체만을 필요로 하며 수동 주석 작업을 전혀 필요로 하지 않아 확장성을 입증했습니다. 또한 ULIP-2는 ModelNet40에서의 다운스트림 제로샷 분류에서 놀라운 개선을 달성했습니다(74% Top1 정확도). 더 나아가, ULIP-2는 실세계 ScanObjectNN 벤치마크에서 새로운 기록을 세웠습니다(91.5% 전체 정확도). 이는 단 140만 개의 파라미터(현재 SOTA 대비 약 10배 적음)만을 사용하면서도 인간 주석 없이 확장 가능한 멀티모달 3D 표현 학습에서의 돌파구를 의미합니다. 코드와 데이터셋은 https://github.com/salesforce/ULIP에서 확인할 수 있습니다.

English

Recent advancements in multimodal pre-training methods have shown promising efficacy in 3D representation learning by aligning features across 3D modality, their 2D counterpart modality, and corresponding language modality. However, the methods used by existing multimodal pre-training frameworks to gather multimodal data for 3D applications lack scalability and comprehensiveness, potentially constraining the full potential of multimodal learning. The main bottleneck lies in the language modality's scalability and comprehensiveness. To address this bottleneck, we introduce ULIP-2, a multimodal pre-training framework that leverages state-of-the-art multimodal large language models (LLMs) pre-trained on extensive knowledge to automatically generate holistic language counterparts for 3D objects. We conduct experiments on two large-scale datasets, Objaverse and ShapeNet55, and release our generated three-modality triplet datasets (3D Point Cloud - Image - Language), named "ULIP-Objaverse Triplets" and "ULIP-ShapeNet Triplets". ULIP-2 requires only 3D data itself and eliminates the need for any manual annotation effort, demonstrating its scalability; and ULIP-2 achieves remarkable improvements on downstream zero-shot classification on ModelNet40 (74% Top1 Accuracy). Moreover, ULIP-2 sets a new record on the real-world ScanObjectNN benchmark (91.5% Overall Accuracy) while utilizing only 1.4 million parameters(~10x fewer than current SOTA), signifying a breakthrough in scalable multimodal 3D representation learning without human annotations. The code and datasets are available at https://github.com/salesforce/ULIP.

ULIP-2: 확장 가능한 3D 이해를 위한 멀티모달 사전 학습 모델

ULIP-2: Towards Scalable Multimodal Pre-training For 3D Understanding

초록

Support