3D-GRAND: Um Conjunto de Dados em Escala de Milhões para LLMs 3D com Melhor Fundamentação e Menos Alucinação

3D-GRAND: A Million-Scale Dataset for 3D-LLMs with Better Grounding and Less Hallucination

June 7, 2024

Autores: Jianing Yang, Xuweiyi Chen, Nikhil Madaan, Madhavan Iyengar, Shengyi Qian, David F. Fouhey, Joyce Chai

cs.AI

Resumo

A integração entre linguagem e percepção 3D é crucial para o desenvolvimento de agentes corporificados e robôs que compreendem e interagem com o mundo físico. Embora os grandes modelos de linguagem (LLMs, na sigla em inglês) tenham demonstrado capacidades impressionantes de compreensão e geração de linguagem, sua adaptação a ambientes 3D (3D-LLMs) ainda está em estágios iniciais. Um dos principais desafios é a ausência de conjuntos de dados em larga escala que forneçam um alinhamento denso entre linguagem e cenas 3D. Neste artigo, apresentamos o 3D-GRAND, um conjunto de dados pioneiro em larga escala composto por 40.087 cenas domésticas associadas a 6,2 milhões de instruções linguísticas densamente alinhadas com as cenas. Nossos resultados mostram que o ajuste por instrução com o 3D-GRAND melhora significativamente as capacidades de alinhamento e reduz alucinações em 3D-LLMs. Como parte de nossas contribuições, propomos um benchmark abrangente, o 3D-POPE, para avaliar sistematicamente alucinações em 3D-LLMs, permitindo comparações justas entre modelos futuros. Nossos experimentos destacam um efeito de escala entre o tamanho do conjunto de dados e o desempenho de 3D-LLMs, enfatizando o papel crítico de conjuntos de dados 3D-texto em larga escala para o avanço da pesquisa em IA corporificada. Notavelmente, nossos resultados demonstram sinais iniciais de transferência eficaz de simulação para o mundo real, indicando que modelos treinados com grandes quantidades de dados sintéticos podem ter bom desempenho em varreduras 3D do mundo real. Por meio do 3D-GRAND e do 3D-POPE, nosso objetivo é fornecer à comunidade de IA corporificada recursos e insights essenciais, preparando o terreno para 3D-LLMs mais confiáveis e melhor alinhados. Site do projeto: https://3d-grand.github.io

English

The integration of language and 3D perception is crucial for developing embodied agents and robots that comprehend and interact with the physical world. While large language models (LLMs) have demonstrated impressive language understanding and generation capabilities, their adaptation to 3D environments (3D-LLMs) remains in its early stages. A primary challenge is the absence of large-scale datasets that provide dense grounding between language and 3D scenes. In this paper, we introduce 3D-GRAND, a pioneering large-scale dataset comprising 40,087 household scenes paired with 6.2 million densely-grounded scene-language instructions. Our results show that instruction tuning with 3D-GRAND significantly enhances grounding capabilities and reduces hallucinations in 3D-LLMs. As part of our contributions, we propose a comprehensive benchmark 3D-POPE to systematically evaluate hallucination in 3D-LLMs, enabling fair comparisons among future models. Our experiments highlight a scaling effect between dataset size and 3D-LLM performance, emphasizing the critical role of large-scale 3D-text datasets in advancing embodied AI research. Notably, our results demonstrate early signals for effective sim-to-real transfer, indicating that models trained on large synthetic data can perform well on real-world 3D scans. Through 3D-GRAND and 3D-POPE, we aim to equip the embodied AI community with essential resources and insights, setting the stage for more reliable and better-grounded 3D-LLMs. Project website: https://3d-grand.github.io