3D-LLM: Integratie van de 3D-wereld in grote taalmodelen

Samenvatting

Grote taalmodellen (LLMs) en visueel-taalkundige modellen (VLMs) hebben bewezen uit te blinken in meerdere taken, zoals gezond verstand redeneren. Hoewel deze modellen krachtig kunnen zijn, zijn ze niet verankerd in de 3D-fysieke wereld, die rijkere concepten omvat zoals ruimtelijke relaties, affordanties, fysica, lay-out, enzovoort. In dit werk stellen we voor om de 3D-wereld in grote taalmodellen te injecteren en introduceren we een geheel nieuwe familie van 3D-LLMs. Specifiek kunnen 3D-LLMs 3D-puntenwolken en hun kenmerken als invoer nemen en een diverse reeks 3D-gerelateerde taken uitvoeren, waaronder bijschriften, dichte bijschriften, 3D-vraagbeantwoording, taakdecompositie, 3D-verankering, 3D-ondersteunde dialoog, navigatie, enzovoort. Met behulp van drie soorten promptingmechanismen die we hebben ontworpen, zijn we in staat om meer dan 300k 3D-taalgegevens te verzamelen die deze taken bestrijken. Om 3D-LLMs efficiënt te trainen, gebruiken we eerst een 3D-kenmerkextractor die 3D-kenmerken verkrijgt uit gerenderde multi-view afbeeldingen. Vervolgens gebruiken we 2D VLMs als onze ruggengraat om onze 3D-LLMs te trainen. Door een 3D-localisatiemechanisme te introduceren, kunnen 3D-LLMs 3D-ruimtelijke informatie beter vastleggen. Experimenten op ScanQA laten zien dat ons model de state-of-the-art baselines met een grote marge overtreft (bijvoorbeeld, de BLEU-1 score overtreft de state-of-the-art score met 9%). Bovendien laten experimenten op onze achtergehouden datasets voor 3D-bijschriften, taakcompositie en 3D-ondersteunde dialoog zien dat ons model 2D VLMs overtreft. Kwalitatieve voorbeelden laten ook zien dat ons model meer taken kan uitvoeren dan de reikwijdte van bestaande LLMs en VLMs. Projectpagina: https://vis-www.cs.umass.edu/3dllm/.

English

Large language models (LLMs) and Vision-Language Models (VLMs) have been proven to excel at multiple tasks, such as commonsense reasoning. Powerful as these models can be, they are not grounded in the 3D physical world, which involves richer concepts such as spatial relationships, affordances, physics, layout, and so on. In this work, we propose to inject the 3D world into large language models and introduce a whole new family of 3D-LLMs. Specifically, 3D-LLMs can take 3D point clouds and their features as input and perform a diverse set of 3D-related tasks, including captioning, dense captioning, 3D question answering, task decomposition, 3D grounding, 3D-assisted dialog, navigation, and so on. Using three types of prompting mechanisms that we design, we are able to collect over 300k 3D-language data covering these tasks. To efficiently train 3D-LLMs, we first utilize a 3D feature extractor that obtains 3D features from rendered multi- view images. Then, we use 2D VLMs as our backbones to train our 3D-LLMs. By introducing a 3D localization mechanism, 3D-LLMs can better capture 3D spatial information. Experiments on ScanQA show that our model outperforms state-of-the-art baselines by a large margin (e.g., the BLEU-1 score surpasses state-of-the-art score by 9%). Furthermore, experiments on our held-in datasets for 3D captioning, task composition, and 3D-assisted dialogue show that our model outperforms 2D VLMs. Qualitative examples also show that our model could perform more tasks beyond the scope of existing LLMs and VLMs. Project Page: : https://vis-www.cs.umass.edu/3dllm/.

3D-LLM: Integratie van de 3D-wereld in grote taalmodelen

3D-LLM: Injecting the 3D World into Large Language Models

Samenvatting

Support