3D-GRAND : Un jeu de données à l'échelle du million pour les LLMs 3D avec un meilleur ancrage et moins d'hallucinations

3D-GRAND: A Million-Scale Dataset for 3D-LLMs with Better Grounding and Less Hallucination

June 7, 2024

Auteurs: Jianing Yang, Xuweiyi Chen, Nikhil Madaan, Madhavan Iyengar, Shengyi Qian, David F. Fouhey, Joyce Chai

cs.AI

Résumé

L'intégration du langage et de la perception 3D est cruciale pour le développement d'agents incarnés et de robots capables de comprendre et d'interagir avec le monde physique. Bien que les grands modèles de langage (LLMs) aient démontré des capacités impressionnantes en compréhension et génération de langage, leur adaptation aux environnements 3D (3D-LLMs) en est encore à ses débuts. Un défi majeur réside dans l'absence de jeux de données à grande échelle fournissant un ancrage dense entre le langage et les scènes 3D. Dans cet article, nous présentons 3D-GRAND, un jeu de données pionnier à grande échelle comprenant 40 087 scènes domestiques associées à 6,2 millions d'instructions langagières ancrées de manière dense. Nos résultats montrent que l'ajustement par instruction avec 3D-GRAND améliore significativement les capacités d'ancrage et réduit les hallucinations dans les 3D-LLMs. Dans le cadre de nos contributions, nous proposons un benchmark complet, 3D-POPE, pour évaluer systématiquement les hallucinations dans les 3D-LLMs, permettant des comparaisons équitables entre les futurs modèles. Nos expériences mettent en évidence un effet d'échelle entre la taille du jeu de données et la performance des 3D-LLMs, soulignant le rôle critique des jeux de données texte-3D à grande échelle dans l'avancement de la recherche en IA incarnée. Notamment, nos résultats montrent des signaux précoces de transfert efficace du simulé au réel, indiquant que les modèles entraînés sur de grandes quantités de données synthétiques peuvent bien performer sur des scans 3D du monde réel. À travers 3D-GRAND et 3D-POPE, nous visons à fournir à la communauté de l'IA incarnée des ressources et des insights essentiels, posant les bases pour des 3D-LLMs plus fiables et mieux ancrés. Site du projet : https://3d-grand.github.io

English

The integration of language and 3D perception is crucial for developing embodied agents and robots that comprehend and interact with the physical world. While large language models (LLMs) have demonstrated impressive language understanding and generation capabilities, their adaptation to 3D environments (3D-LLMs) remains in its early stages. A primary challenge is the absence of large-scale datasets that provide dense grounding between language and 3D scenes. In this paper, we introduce 3D-GRAND, a pioneering large-scale dataset comprising 40,087 household scenes paired with 6.2 million densely-grounded scene-language instructions. Our results show that instruction tuning with 3D-GRAND significantly enhances grounding capabilities and reduces hallucinations in 3D-LLMs. As part of our contributions, we propose a comprehensive benchmark 3D-POPE to systematically evaluate hallucination in 3D-LLMs, enabling fair comparisons among future models. Our experiments highlight a scaling effect between dataset size and 3D-LLM performance, emphasizing the critical role of large-scale 3D-text datasets in advancing embodied AI research. Notably, our results demonstrate early signals for effective sim-to-real transfer, indicating that models trained on large synthetic data can perform well on real-world 3D scans. Through 3D-GRAND and 3D-POPE, we aim to equip the embodied AI community with essential resources and insights, setting the stage for more reliable and better-grounded 3D-LLMs. Project website: https://3d-grand.github.io