3D-GRAND: Ein Datensatz im Millionenumfang für 3D-LLMs mit besserer Verankerung und weniger Halluzinationen

3D-GRAND: A Million-Scale Dataset for 3D-LLMs with Better Grounding and Less Hallucination

June 7, 2024

Autoren: Jianing Yang, Xuweiyi Chen, Nikhil Madaan, Madhavan Iyengar, Shengyi Qian, David F. Fouhey, Joyce Chai

cs.AI

Zusammenfassung

Die Integration von Sprache und 3D-Wahrnehmung ist entscheidend für die Entwicklung von verkörperten Agenten und Robotern, die die physische Welt verstehen und mit ihr interagieren. Während große Sprachmodelle (LLMs) beeindruckende Fähigkeiten in der Sprachverarbeitung und -erzeugung gezeigt haben, befindet sich ihre Anpassung an 3D-Umgebungen (3D-LLMs) noch in den Anfängen. Eine Hauptherausforderung besteht in dem Fehlen von groß angelegten Datensätzen, die eine dichte Verknüpfung zwischen Sprache und 3D-Szenen bieten. In diesem Paper stellen wir 3D-GRAND vor, einen wegweisenden groß angelegten Datensatz, der 40.087 Haushaltsszenen mit 6,2 Millionen dicht verknüpften Szenen-Sprachanweisungen umfasst. Unsere Ergebnisse zeigen, dass die Feinabstimmung von Anweisungen mit 3D-GRAND die Verankerungsfähigkeiten signifikant verbessert und Halluzinationen in 3D-LLMs reduziert. Als Teil unserer Beiträge schlagen wir einen umfassenden Benchmark 3D-POPE vor, um Halluzinationen in 3D-LLMs systematisch zu bewerten und faire Vergleiche zwischen zukünftigen Modellen zu ermöglichen. Unsere Experimente verdeutlichen einen Skalierungseffekt zwischen Datensatzgröße und Leistung von 3D-LLMs und betonen die entscheidende Rolle von groß angelegten 3D-Textdatensätzen bei der Weiterentwicklung der verkörperten KI-Forschung. Bemerkenswerterweise zeigen unsere Ergebnisse erste Anzeichen für eine effektive Simulation-zu-Realität-Übertragung, was darauf hindeutet, dass Modelle, die auf großen synthetischen Daten trainiert wurden, auch in der Lage sind, gut auf realen 3D-Scans zu performen. Durch 3D-GRAND und 3D-POPE möchten wir die verkörperte KI-Community mit essentiellen Ressourcen und Erkenntnissen ausstatten und den Weg für zuverlässigere und besser verankerte 3D-LLMs ebnen. Projekthomepage: https://3d-grand.github.io

English

The integration of language and 3D perception is crucial for developing embodied agents and robots that comprehend and interact with the physical world. While large language models (LLMs) have demonstrated impressive language understanding and generation capabilities, their adaptation to 3D environments (3D-LLMs) remains in its early stages. A primary challenge is the absence of large-scale datasets that provide dense grounding between language and 3D scenes. In this paper, we introduce 3D-GRAND, a pioneering large-scale dataset comprising 40,087 household scenes paired with 6.2 million densely-grounded scene-language instructions. Our results show that instruction tuning with 3D-GRAND significantly enhances grounding capabilities and reduces hallucinations in 3D-LLMs. As part of our contributions, we propose a comprehensive benchmark 3D-POPE to systematically evaluate hallucination in 3D-LLMs, enabling fair comparisons among future models. Our experiments highlight a scaling effect between dataset size and 3D-LLM performance, emphasizing the critical role of large-scale 3D-text datasets in advancing embodied AI research. Notably, our results demonstrate early signals for effective sim-to-real transfer, indicating that models trained on large synthetic data can perform well on real-world 3D scans. Through 3D-GRAND and 3D-POPE, we aim to equip the embodied AI community with essential resources and insights, setting the stage for more reliable and better-grounded 3D-LLMs. Project website: https://3d-grand.github.io