ULIP-2: На пути к масштабируемой мультимодальной предварительной подготовке для понимания 3D

Аннотация

Последние достижения в методах мультимодального предварительного обучения продемонстрировали многообещающую эффективность в обучении представлений 3D-данных за счет согласования признаков между 3D-модальностью, их 2D-аналогами и соответствующей языковой модальностью. Однако методы, используемые существующими мультимодальными фреймворками для сбора данных для 3D-приложений, недостаточно масштабируемы и всеобъемлющи, что может ограничивать полный потенциал мультимодального обучения. Основное узкое место заключается в масштабируемости и всеобъемлющем характере языковой модальности. Для решения этой проблемы мы представляем ULIP-2 — фреймворк мультимодального предварительного обучения, который использует современные мультимодальные большие языковые модели (LLM), предварительно обученные на обширных знаниях, для автоматической генерации целостных языковых описаний 3D-объектов. Мы проводим эксперименты на двух крупномасштабных наборах данных, Objaverse и ShapeNet55, и публикуем сгенерированные тройные наборы данных (3D Point Cloud — Изображение — Текст), названные "ULIP-Objaverse Triplets" и "ULIP-ShapeNet Triplets". ULIP-2 требует только самих 3D-данных и устраняет необходимость в ручной аннотации, демонстрируя свою масштабируемость; при этом ULIP-2 достигает значительных улучшений в задаче zero-shot классификации на ModelNet40 (74% точности Top1). Более того, ULIP-2 устанавливает новый рекорд на реальном бенчмарке ScanObjectNN (91,5% общей точности), используя всего 1,4 миллиона параметров (примерно в 10 раз меньше, чем текущие SOTA), что знаменует прорыв в масштабируемом мультимодальном обучении 3D-представлений без участия человека. Код и наборы данных доступны по адресу https://github.com/salesforce/ULIP.

English

Recent advancements in multimodal pre-training methods have shown promising efficacy in 3D representation learning by aligning features across 3D modality, their 2D counterpart modality, and corresponding language modality. However, the methods used by existing multimodal pre-training frameworks to gather multimodal data for 3D applications lack scalability and comprehensiveness, potentially constraining the full potential of multimodal learning. The main bottleneck lies in the language modality's scalability and comprehensiveness. To address this bottleneck, we introduce ULIP-2, a multimodal pre-training framework that leverages state-of-the-art multimodal large language models (LLMs) pre-trained on extensive knowledge to automatically generate holistic language counterparts for 3D objects. We conduct experiments on two large-scale datasets, Objaverse and ShapeNet55, and release our generated three-modality triplet datasets (3D Point Cloud - Image - Language), named "ULIP-Objaverse Triplets" and "ULIP-ShapeNet Triplets". ULIP-2 requires only 3D data itself and eliminates the need for any manual annotation effort, demonstrating its scalability; and ULIP-2 achieves remarkable improvements on downstream zero-shot classification on ModelNet40 (74% Top1 Accuracy). Moreover, ULIP-2 sets a new record on the real-world ScanObjectNN benchmark (91.5% Overall Accuracy) while utilizing only 1.4 million parameters(~10x fewer than current SOTA), signifying a breakthrough in scalable multimodal 3D representation learning without human annotations. The code and datasets are available at https://github.com/salesforce/ULIP.

ULIP-2: На пути к масштабируемой мультимодальной предварительной подготовке для понимания 3D

ULIP-2: Towards Scalable Multimodal Pre-training For 3D Understanding

Аннотация

Support