3D-LLM: Integrando o Mundo 3D em Modelos de Linguagem de Grande Escala

Resumo

Modelos de linguagem de grande escala (LLMs) e modelos visão-linguagem (VLMs) têm se mostrado excelentes em diversas tarefas, como raciocínio de senso comum. Por mais poderosos que esses modelos possam ser, eles não estão fundamentados no mundo físico 3D, que envolve conceitos mais ricos, como relações espaciais, affordances, física, layout e assim por diante. Neste trabalho, propomos injetar o mundo 3D em modelos de linguagem de grande escala e introduzir uma nova família de 3D-LLMs. Especificamente, os 3D-LLMs podem receber nuvens de pontos 3D e suas características como entrada e executar um conjunto diversificado de tarefas relacionadas a 3D, incluindo legendagem, legendagem densa, questionamento e resposta em 3D, decomposição de tarefas, ancoragem em 3D, diálogo assistido por 3D, navegação e muito mais. Utilizando três tipos de mecanismos de prompt que projetamos, conseguimos coletar mais de 300 mil dados de linguagem 3D cobrindo essas tarefas. Para treinar eficientemente os 3D-LLMs, primeiro utilizamos um extrator de características 3D que obtém características 3D a partir de imagens renderizadas em múltiplas visões. Em seguida, usamos VLMs 2D como nossa base para treinar nossos 3D-LLMs. Ao introduzir um mecanismo de localização 3D, os 3D-LLMs podem capturar melhor as informações espaciais 3D. Experimentos no ScanQA mostram que nosso modelo supera as melhores baselines por uma grande margem (por exemplo, a pontuação BLEU-1 supera a pontuação state-of-the-art em 9%). Além disso, experimentos em nossos conjuntos de dados reservados para legendagem 3D, composição de tarefas e diálogo assistido por 3D mostram que nosso modelo supera os VLMs 2D. Exemplos qualitativos também mostram que nosso modelo pode executar mais tarefas além do escopo dos LLMs e VLMs existentes. Página do Projeto: https://vis-www.cs.umass.edu/3dllm/.

English

Large language models (LLMs) and Vision-Language Models (VLMs) have been proven to excel at multiple tasks, such as commonsense reasoning. Powerful as these models can be, they are not grounded in the 3D physical world, which involves richer concepts such as spatial relationships, affordances, physics, layout, and so on. In this work, we propose to inject the 3D world into large language models and introduce a whole new family of 3D-LLMs. Specifically, 3D-LLMs can take 3D point clouds and their features as input and perform a diverse set of 3D-related tasks, including captioning, dense captioning, 3D question answering, task decomposition, 3D grounding, 3D-assisted dialog, navigation, and so on. Using three types of prompting mechanisms that we design, we are able to collect over 300k 3D-language data covering these tasks. To efficiently train 3D-LLMs, we first utilize a 3D feature extractor that obtains 3D features from rendered multi- view images. Then, we use 2D VLMs as our backbones to train our 3D-LLMs. By introducing a 3D localization mechanism, 3D-LLMs can better capture 3D spatial information. Experiments on ScanQA show that our model outperforms state-of-the-art baselines by a large margin (e.g., the BLEU-1 score surpasses state-of-the-art score by 9%). Furthermore, experiments on our held-in datasets for 3D captioning, task composition, and 3D-assisted dialogue show that our model outperforms 2D VLMs. Qualitative examples also show that our model could perform more tasks beyond the scope of existing LLMs and VLMs. Project Page: : https://vis-www.cs.umass.edu/3dllm/.

3D-LLM: Integrando o Mundo 3D em Modelos de Linguagem de Grande Escala

3D-LLM: Injecting the 3D World into Large Language Models

Resumo

Support