M3DBench: Instruyamos a los modelos grandes con indicaciones multimodales en 3D

Resumen

Recientemente, la comprensión 3D ha ganado popularidad para facilitar que los agentes autónomos realicen decisiones más avanzadas. Sin embargo, los conjuntos de datos y métodos 3D existentes suelen estar limitados a tareas específicas. Por otro lado, los avances recientes en Modelos de Lenguaje de Gran Escala (LLMs) y Modelos de Lenguaje Multimodal (MLMs) han demostrado un rendimiento excepcional en tareas generales de lenguaje y procesamiento de imágenes. Por lo tanto, es interesante desbloquear el potencial de los MLMs para convertirse en generalistas 3D capaces de abordar una gama más amplia de tareas. No obstante, la investigación actual sobre MLMs se ha centrado menos en tareas 3D debido a la falta de conjuntos de datos a gran escala que sigan instrucciones en 3D. En este trabajo, presentamos un conjunto de datos integral de seguimiento de instrucciones en 3D llamado M3DBench, que posee las siguientes características: 1) Admite instrucciones multimodales generales intercaladas con texto, imágenes, objetos 3D y otros estímulos visuales. 2) Unifica diversas tareas 3D tanto a nivel de región como de escena, cubriendo una variedad de habilidades fundamentales en entornos 3D del mundo real. 3) Es un conjunto de datos de seguimiento de instrucciones en 3D a gran escala con más de 320k pares de instrucción-respuesta. Además, establecemos un nuevo punto de referencia para evaluar el rendimiento de modelos grandes en la comprensión de estímulos multimodales en 3D. Experimentos extensos demuestran la efectividad de nuestro conjunto de datos y línea base, respaldando tareas generales centradas en 3D, lo que puede inspirar investigaciones futuras.

English

Recently, 3D understanding has become popular to facilitate autonomous agents to perform further decisionmaking. However, existing 3D datasets and methods are often limited to specific tasks. On the other hand, recent progress in Large Language Models (LLMs) and Multimodal Language Models (MLMs) have demonstrated exceptional general language and imagery tasking performance. Therefore, it is interesting to unlock MLM's potential to be 3D generalist for wider tasks. However, current MLMs' research has been less focused on 3D tasks due to a lack of large-scale 3D instruction-following datasets. In this work, we introduce a comprehensive 3D instructionfollowing dataset called M3DBench, which possesses the following characteristics: 1) It supports general multimodal instructions interleaved with text, images, 3D objects, and other visual prompts. 2) It unifies diverse 3D tasks at both region and scene levels, covering a variety of fundamental abilities in real-world 3D environments. 3) It is a large-scale 3D instruction-following dataset with over 320k instruction-response pairs. Furthermore, we establish a new benchmark for assessing the performance of large models in understanding multi-modal 3D prompts. Extensive experiments demonstrate the effectiveness of our dataset and baseline, supporting general 3D-centric tasks, which can inspire future research.

M3DBench: Instruyamos a los modelos grandes con indicaciones multimodales en 3D

M3DBench: Let's Instruct Large Models with Multi-modal 3D Prompts

Resumen

Support