M3DBench: Vamos Instruir Modelos de Grande Porte com Prompts Multimodais em 3D

M3DBench: Let's Instruct Large Models with Multi-modal 3D Prompts

December 17, 2023

Autores: Mingsheng Li, Xin Chen, Chi Zhang, Sijin Chen, Hongyuan Zhu, Fukun Yin, Gang Yu, Tao Chen

cs.AI

Resumo

Recentemente, a compreensão 3D tornou-se popular para facilitar que agentes autônomos realizem tomadas de decisão mais avançadas. No entanto, os conjuntos de dados e métodos 3D existentes são frequentemente limitados a tarefas específicas. Por outro lado, os avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Linguagem Multimodal (MLMs) demonstraram desempenho excepcional em tarefas gerais de linguagem e imagens. Portanto, é interessante desbloquear o potencial dos MLMs para se tornarem generalistas 3D capazes de realizar uma gama mais ampla de tarefas. No entanto, as pesquisas atuais em MLMs têm se concentrado menos em tarefas 3D devido à falta de conjuntos de dados em grande escala que envolvam instruções em 3D. Neste trabalho, introduzimos um conjunto de dados abrangente de instruções em 3D chamado M3DBench, que possui as seguintes características: 1) Ele suporta instruções multimodais gerais intercaladas com texto, imagens, objetos 3D e outros prompts visuais. 2) Ele unifica diversas tarefas 3D tanto em nível de região quanto de cena, cobrindo uma variedade de habilidades fundamentais em ambientes 3D do mundo real. 3) É um conjunto de dados de instruções em 3D em grande escala, com mais de 320 mil pares de instrução-resposta. Além disso, estabelecemos um novo benchmark para avaliar o desempenho de modelos de grande escala na compreensão de prompts multimodais em 3D. Experimentos extensivos demonstram a eficácia do nosso conjunto de dados e da linha de base, suportando tarefas gerais centradas em 3D, o que pode inspirar pesquisas futuras.

English

Recently, 3D understanding has become popular to facilitate autonomous agents to perform further decisionmaking. However, existing 3D datasets and methods are often limited to specific tasks. On the other hand, recent progress in Large Language Models (LLMs) and Multimodal Language Models (MLMs) have demonstrated exceptional general language and imagery tasking performance. Therefore, it is interesting to unlock MLM's potential to be 3D generalist for wider tasks. However, current MLMs' research has been less focused on 3D tasks due to a lack of large-scale 3D instruction-following datasets. In this work, we introduce a comprehensive 3D instructionfollowing dataset called M3DBench, which possesses the following characteristics: 1) It supports general multimodal instructions interleaved with text, images, 3D objects, and other visual prompts. 2) It unifies diverse 3D tasks at both region and scene levels, covering a variety of fundamental abilities in real-world 3D environments. 3) It is a large-scale 3D instruction-following dataset with over 320k instruction-response pairs. Furthermore, we establish a new benchmark for assessing the performance of large models in understanding multi-modal 3D prompts. Extensive experiments demonstrate the effectiveness of our dataset and baseline, supporting general 3D-centric tasks, which can inspire future research.