M3DBench: Инструкции для крупных моделей с использованием мультимодальных 3D-подсказок

M3DBench: Let's Instruct Large Models with Multi-modal 3D Prompts

December 17, 2023

Авторы: Mingsheng Li, Xin Chen, Chi Zhang, Sijin Chen, Hongyuan Zhu, Fukun Yin, Gang Yu, Tao Chen

cs.AI

Аннотация

В последнее время трехмерное понимание стало популярным для облегчения автономным агентам принятия дальнейших решений. Однако существующие 3D-наборы данных и методы часто ограничены конкретными задачами. С другой стороны, недавние достижения в области крупных языковых моделей (LLM) и мультимодальных языковых моделей (MLM) продемонстрировали исключительную производительность в общих языковых и визуальных задачах. Поэтому интересно раскрыть потенциал MLM для выполнения более широкого круга задач в качестве универсального инструмента для работы с 3D. Однако текущие исследования MLM меньше сосредоточены на 3D-задачах из-за отсутствия крупномасштабных наборов данных, ориентированных на выполнение инструкций в трехмерной среде. В данной работе мы представляем всеобъемлющий набор данных для выполнения инструкций в 3D, названный M3DBench, который обладает следующими характеристиками: 1) Он поддерживает общие мультимодальные инструкции, включающие текст, изображения, 3D-объекты и другие визуальные подсказки. 2) Он объединяет разнообразные 3D-задачи как на уровне регионов, так и на уровне сцен, охватывая широкий спектр фундаментальных способностей в реальных трехмерных средах. 3) Это крупномасштабный набор данных для выполнения инструкций в 3D, содержащий более 320 тысяч пар "инструкция-ответ". Кроме того, мы устанавливаем новый эталон для оценки производительности крупных моделей в понимании мультимодальных 3D-подсказок. Многочисленные эксперименты демонстрируют эффективность нашего набора данных и базового подхода, поддерживающего общие задачи, ориентированные на 3D, что может вдохновить будущие исследования.

English

Recently, 3D understanding has become popular to facilitate autonomous agents to perform further decisionmaking. However, existing 3D datasets and methods are often limited to specific tasks. On the other hand, recent progress in Large Language Models (LLMs) and Multimodal Language Models (MLMs) have demonstrated exceptional general language and imagery tasking performance. Therefore, it is interesting to unlock MLM's potential to be 3D generalist for wider tasks. However, current MLMs' research has been less focused on 3D tasks due to a lack of large-scale 3D instruction-following datasets. In this work, we introduce a comprehensive 3D instructionfollowing dataset called M3DBench, which possesses the following characteristics: 1) It supports general multimodal instructions interleaved with text, images, 3D objects, and other visual prompts. 2) It unifies diverse 3D tasks at both region and scene levels, covering a variety of fundamental abilities in real-world 3D environments. 3) It is a large-scale 3D instruction-following dataset with over 320k instruction-response pairs. Furthermore, we establish a new benchmark for assessing the performance of large models in understanding multi-modal 3D prompts. Extensive experiments demonstrate the effectiveness of our dataset and baseline, supporting general 3D-centric tasks, which can inspire future research.