3D-GRAND: Een Miljoenschaal Dataset voor 3D-LLMs met Betere Verankering en Minder Hallucinatie

3D-GRAND: A Million-Scale Dataset for 3D-LLMs with Better Grounding and Less Hallucination

June 7, 2024

Auteurs: Jianing Yang, Xuweiyi Chen, Nikhil Madaan, Madhavan Iyengar, Shengyi Qian, David F. Fouhey, Joyce Chai

cs.AI

Samenvatting

De integratie van taal en 3D-perceptie is cruciaal voor de ontwikkeling van belichaamde agents en robots die de fysieke wereld begrijpen en ermee interacteren. Hoewel grote taalmmodellen (LLMs) indrukwekkende taalbegrip- en generatiecapaciteiten hebben getoond, staat hun aanpassing aan 3D-omgevingen (3D-LLMs) nog in de kinderschoenen. Een belangrijke uitdaging is het ontbreken van grootschalige datasets die een dichte verankering tussen taal en 3D-scènes bieden. In dit artikel introduceren we 3D-GRAND, een baanbrekende grootschalige dataset bestaande uit 40.087 huishoudelijke scènes, gekoppeld aan 6,2 miljoen dicht verankerde scène-taal instructies. Onze resultaten tonen aan dat instructieafstemming met 3D-GRAND de verankeringscapaciteiten aanzienlijk verbetert en hallucinaties in 3D-LLMs vermindert. Als onderdeel van onze bijdragen stellen we een uitgebreide benchmark 3D-POPE voor om hallucinaties in 3D-LLMs systematisch te evalueren, wat eerlijke vergelijkingen tussen toekomstige modellen mogelijk maakt. Onze experimenten benadrukken een schaaleffect tussen de grootte van de dataset en de prestaties van 3D-LLMs, wat het cruciale belang van grootschalige 3D-tekst datasets in het bevorderen van belichaamd AI-onderzoek onderstreept. Opmerkelijk is dat onze resultaten vroege signalen tonen voor effectieve sim-to-real transfer, wat aangeeft dat modellen die getraind zijn op grote synthetische data goed kunnen presteren op real-world 3D-scans. Met 3D-GRAND en 3D-POPE willen we de belichaamde AI-gemeenschap voorzien van essentiële bronnen en inzichten, en zo de basis leggen voor betrouwbaardere en beter verankerde 3D-LLMs. Projectwebsite: https://3d-grand.github.io

English

The integration of language and 3D perception is crucial for developing embodied agents and robots that comprehend and interact with the physical world. While large language models (LLMs) have demonstrated impressive language understanding and generation capabilities, their adaptation to 3D environments (3D-LLMs) remains in its early stages. A primary challenge is the absence of large-scale datasets that provide dense grounding between language and 3D scenes. In this paper, we introduce 3D-GRAND, a pioneering large-scale dataset comprising 40,087 household scenes paired with 6.2 million densely-grounded scene-language instructions. Our results show that instruction tuning with 3D-GRAND significantly enhances grounding capabilities and reduces hallucinations in 3D-LLMs. As part of our contributions, we propose a comprehensive benchmark 3D-POPE to systematically evaluate hallucination in 3D-LLMs, enabling fair comparisons among future models. Our experiments highlight a scaling effect between dataset size and 3D-LLM performance, emphasizing the critical role of large-scale 3D-text datasets in advancing embodied AI research. Notably, our results demonstrate early signals for effective sim-to-real transfer, indicating that models trained on large synthetic data can perform well on real-world 3D scans. Through 3D-GRAND and 3D-POPE, we aim to equip the embodied AI community with essential resources and insights, setting the stage for more reliable and better-grounded 3D-LLMs. Project website: https://3d-grand.github.io