3D-LLM: Integrando el Mundo 3D en los Modelos de Lenguaje de Gran Escala

Resumen

Los modelos de lenguaje de gran escala (LLMs) y los modelos de visión-lenguaje (VLMs) han demostrado sobresalir en múltiples tareas, como el razonamiento de sentido común. Aunque estos modelos pueden ser muy potentes, no están fundamentados en el mundo físico 3D, que involucra conceptos más ricos como relaciones espaciales, affordances, física, disposición, entre otros. En este trabajo, proponemos inyectar el mundo 3D en los modelos de lenguaje de gran escala e introducir una nueva familia de 3D-LLMs. Específicamente, los 3D-LLMs pueden tomar nubes de puntos 3D y sus características como entrada y realizar un conjunto diverso de tareas relacionadas con 3D, incluyendo generación de descripciones, descripciones densas, preguntas y respuestas en 3D, descomposición de tareas, anclaje en 3D, diálogo asistido por 3D, navegación, entre otros. Utilizando tres tipos de mecanismos de prompting que diseñamos, hemos logrado recopilar más de 300k datos de lenguaje-3D que cubren estas tareas. Para entrenar eficientemente los 3D-LLMs, primero utilizamos un extractor de características 3D que obtiene características 3D a partir de imágenes renderizadas de múltiples vistas. Luego, usamos VLMs 2D como nuestra base para entrenar nuestros 3D-LLMs. Al introducir un mecanismo de localización 3D, los 3D-LLMs pueden capturar mejor la información espacial 3D. Los experimentos en ScanQA muestran que nuestro modelo supera a los baselines de última generación por un amplio margen (por ejemplo, el puntaje BLEU-1 supera al puntaje de última generación en un 9%). Además, los experimentos en nuestros conjuntos de datos retenidos para generación de descripciones 3D, composición de tareas y diálogo asistido por 3D muestran que nuestro modelo supera a los VLMs 2D. Ejemplos cualitativos también muestran que nuestro modelo podría realizar más tareas más allá del alcance de los LLMs y VLMs existentes. Página del proyecto: https://vis-www.cs.umass.edu/3dllm/.

English

Large language models (LLMs) and Vision-Language Models (VLMs) have been proven to excel at multiple tasks, such as commonsense reasoning. Powerful as these models can be, they are not grounded in the 3D physical world, which involves richer concepts such as spatial relationships, affordances, physics, layout, and so on. In this work, we propose to inject the 3D world into large language models and introduce a whole new family of 3D-LLMs. Specifically, 3D-LLMs can take 3D point clouds and their features as input and perform a diverse set of 3D-related tasks, including captioning, dense captioning, 3D question answering, task decomposition, 3D grounding, 3D-assisted dialog, navigation, and so on. Using three types of prompting mechanisms that we design, we are able to collect over 300k 3D-language data covering these tasks. To efficiently train 3D-LLMs, we first utilize a 3D feature extractor that obtains 3D features from rendered multi- view images. Then, we use 2D VLMs as our backbones to train our 3D-LLMs. By introducing a 3D localization mechanism, 3D-LLMs can better capture 3D spatial information. Experiments on ScanQA show that our model outperforms state-of-the-art baselines by a large margin (e.g., the BLEU-1 score surpasses state-of-the-art score by 9%). Furthermore, experiments on our held-in datasets for 3D captioning, task composition, and 3D-assisted dialogue show that our model outperforms 2D VLMs. Qualitative examples also show that our model could perform more tasks beyond the scope of existing LLMs and VLMs. Project Page: : https://vis-www.cs.umass.edu/3dllm/.

3D-LLM: Integrando el Mundo 3D en los Modelos de Lenguaje de Gran Escala

3D-LLM: Injecting the 3D World into Large Language Models

Resumen

Support