3D-LLM: Integrazione del Mondo 3D nei Modelli Linguistici di Grande Dimensione

Abstract

I modelli linguistici di grandi dimensioni (LLM) e i modelli visione-linguaggio (VLM) hanno dimostrato di eccellere in molteplici compiti, come il ragionamento di senso comune. Per quanto potenti possano essere, questi modelli non sono radicati nel mondo fisico 3D, che coinvolge concetti più ricchi come relazioni spaziali, affordance, fisica, layout e così via. In questo lavoro, proponiamo di iniettare il mondo 3D nei modelli linguistici di grandi dimensioni e introduciamo una nuova famiglia di 3D-LLM. Nello specifico, i 3D-LLM possono prendere come input nuvole di punti 3D e le loro caratteristiche, eseguendo una vasta gamma di compiti legati al 3D, tra cui descrizione, descrizione densa, risposta a domande 3D, scomposizione di compiti, grounding 3D, dialogo assistito da 3D, navigazione e così via. Utilizzando tre tipi di meccanismi di prompting che abbiamo progettato, siamo riusciti a raccogliere oltre 300k dati 3D-linguaggio che coprono questi compiti. Per addestrare in modo efficiente i 3D-LLM, utilizziamo prima un estrattore di caratteristiche 3D che ottiene caratteristiche 3D da immagini multi-vista renderizzate. Successivamente, utilizziamo i VLM 2D come backbone per addestrare i nostri 3D-LLM. Introducendo un meccanismo di localizzazione 3D, i 3D-LLM possono catturare meglio le informazioni spaziali 3D. Gli esperimenti su ScanQA mostrano che il nostro modello supera di gran lunga i migliori baseline esistenti (ad esempio, il punteggio BLEU-1 supera il punteggio state-of-the-art del 9%). Inoltre, gli esperimenti sui nostri dataset interni per la descrizione 3D, la composizione di compiti e il dialogo assistito da 3D mostrano che il nostro modello supera i VLM 2D. Esempi qualitativi dimostrano anche che il nostro modello può eseguire più compiti oltre lo scopo degli attuali LLM e VLM. Pagina del progetto: https://vis-www.cs.umass.edu/3dllm/.

English

Large language models (LLMs) and Vision-Language Models (VLMs) have been proven to excel at multiple tasks, such as commonsense reasoning. Powerful as these models can be, they are not grounded in the 3D physical world, which involves richer concepts such as spatial relationships, affordances, physics, layout, and so on. In this work, we propose to inject the 3D world into large language models and introduce a whole new family of 3D-LLMs. Specifically, 3D-LLMs can take 3D point clouds and their features as input and perform a diverse set of 3D-related tasks, including captioning, dense captioning, 3D question answering, task decomposition, 3D grounding, 3D-assisted dialog, navigation, and so on. Using three types of prompting mechanisms that we design, we are able to collect over 300k 3D-language data covering these tasks. To efficiently train 3D-LLMs, we first utilize a 3D feature extractor that obtains 3D features from rendered multi- view images. Then, we use 2D VLMs as our backbones to train our 3D-LLMs. By introducing a 3D localization mechanism, 3D-LLMs can better capture 3D spatial information. Experiments on ScanQA show that our model outperforms state-of-the-art baselines by a large margin (e.g., the BLEU-1 score surpasses state-of-the-art score by 9%). Furthermore, experiments on our held-in datasets for 3D captioning, task composition, and 3D-assisted dialogue show that our model outperforms 2D VLMs. Qualitative examples also show that our model could perform more tasks beyond the scope of existing LLMs and VLMs. Project Page: : https://vis-www.cs.umass.edu/3dllm/.

3D-LLM: Integrazione del Mondo 3D nei Modelli Linguistici di Grande Dimensione

3D-LLM: Injecting the 3D World into Large Language Models

Abstract

Support