LLM-Grounder: Open-Vocabulary 3D-Visual-Grounding mit einem großen Sprachmodell als Agent

LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent

September 21, 2023

Autoren: Jianing Yang, Xuweiyi Chen, Shengyi Qian, Nikhil Madaan, Madhavan Iyengar, David F. Fouhey, Joyce Chai

cs.AI

Zusammenfassung

3D-Visual-Grounding ist eine entscheidende Fähigkeit für Haushaltsroboter, die es ihnen ermöglicht, zu navigieren, Objekte zu manipulieren und Fragen basierend auf ihrer Umgebung zu beantworten. Während bestehende Ansätze oft auf umfangreiche annotierte Daten angewiesen sind oder Einschränkungen bei der Verarbeitung komplexer Sprachabfragen aufweisen, schlagen wir LLM-Grounder vor, eine neuartige Zero-Shot-, Open-Vocabulary-Pipeline für 3D-Visual-Grounding, die auf einem Large Language Model (LLM) basiert. LLM-Grounder nutzt ein LLM, um komplexe natürliche Sprachabfragen in semantische Bestandteile zu zerlegen, und verwendet ein Visual-Grounding-Tool wie OpenScene oder LERF, um Objekte in einer 3D-Szene zu identifizieren. Das LLM bewertet dann die räumlichen und alltagslogischen Beziehungen zwischen den vorgeschlagenen Objekten, um eine endgültige Grounding-Entscheidung zu treffen. Unser Ansatz benötigt keine annotierten Trainingsdaten und kann auf neue 3D-Szenen und beliebige Textabfragen verallgemeinert werden. Wir evaluieren LLM-Grounder auf dem ScanRefer-Benchmark und demonstrieren state-of-the-art Zero-Shot-Grounding-Genauigkeit. Unsere Ergebnisse zeigen, dass LLMs die Grounding-Fähigkeit erheblich verbessern, insbesondere bei komplexen Sprachabfragen, was LLM-Grounder zu einem effektiven Ansatz für 3D-Vision-Language-Aufgaben in der Robotik macht. Videos und interaktive Demos finden Sie auf der Projektwebsite https://chat-with-nerf.github.io/.

English

3D visual grounding is a critical skill for household robots, enabling them to navigate, manipulate objects, and answer questions based on their environment. While existing approaches often rely on extensive labeled data or exhibit limitations in handling complex language queries, we propose LLM-Grounder, a novel zero-shot, open-vocabulary, Large Language Model (LLM)-based 3D visual grounding pipeline. LLM-Grounder utilizes an LLM to decompose complex natural language queries into semantic constituents and employs a visual grounding tool, such as OpenScene or LERF, to identify objects in a 3D scene. The LLM then evaluates the spatial and commonsense relations among the proposed objects to make a final grounding decision. Our method does not require any labeled training data and can generalize to novel 3D scenes and arbitrary text queries. We evaluate LLM-Grounder on the ScanRefer benchmark and demonstrate state-of-the-art zero-shot grounding accuracy. Our findings indicate that LLMs significantly improve the grounding capability, especially for complex language queries, making LLM-Grounder an effective approach for 3D vision-language tasks in robotics. Videos and interactive demos can be found on the project website https://chat-with-nerf.github.io/ .