LLM-Grounder : Ancrage visuel 3D en vocabulaire ouvert avec un grand modèle de langage comme agent

LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent

September 21, 2023

Auteurs: Jianing Yang, Xuweiyi Chen, Shengyi Qian, Nikhil Madaan, Madhavan Iyengar, David F. Fouhey, Joyce Chai

cs.AI

Résumé

L'ancrage visuel 3D est une compétence essentielle pour les robots domestiques, leur permettant de naviguer, manipuler des objets et répondre à des questions en fonction de leur environnement. Alors que les approches existantes reposent souvent sur des données étiquetées massives ou présentent des limites dans la gestion de requêtes linguistiques complexes, nous proposons LLM-Grounder, un nouveau pipeline d'ancrage visuel 3D basé sur un modèle de langage de grande taille (LLM), fonctionnant en mode zéro-shot et à vocabulaire ouvert. LLM-Grounder utilise un LLM pour décomposer les requêtes en langage naturel complexes en constituants sémantiques et emploie un outil d'ancrage visuel, tel qu'OpenScene ou LERF, pour identifier les objets dans une scène 3D. Le LLM évalue ensuite les relations spatiales et de bon sens entre les objets proposés pour prendre une décision finale d'ancrage. Notre méthode ne nécessite aucune donnée d'entraînement étiquetée et peut généraliser à de nouvelles scènes 3D et à des requêtes textuelles arbitraires. Nous évaluons LLM-Grounder sur le benchmark ScanRefer et démontrons une précision d'ancrage zéro-shot de pointe. Nos résultats indiquent que les LLM améliorent significativement la capacité d'ancrage, en particulier pour les requêtes linguistiques complexes, faisant de LLM-Grounder une approche efficace pour les tâches vision-langage 3D en robotique. Des vidéos et des démonstrations interactives sont disponibles sur le site du projet : https://chat-with-nerf.github.io/.

English

3D visual grounding is a critical skill for household robots, enabling them to navigate, manipulate objects, and answer questions based on their environment. While existing approaches often rely on extensive labeled data or exhibit limitations in handling complex language queries, we propose LLM-Grounder, a novel zero-shot, open-vocabulary, Large Language Model (LLM)-based 3D visual grounding pipeline. LLM-Grounder utilizes an LLM to decompose complex natural language queries into semantic constituents and employs a visual grounding tool, such as OpenScene or LERF, to identify objects in a 3D scene. The LLM then evaluates the spatial and commonsense relations among the proposed objects to make a final grounding decision. Our method does not require any labeled training data and can generalize to novel 3D scenes and arbitrary text queries. We evaluate LLM-Grounder on the ScanRefer benchmark and demonstrate state-of-the-art zero-shot grounding accuracy. Our findings indicate that LLMs significantly improve the grounding capability, especially for complex language queries, making LLM-Grounder an effective approach for 3D vision-language tasks in robotics. Videos and interactive demos can be found on the project website https://chat-with-nerf.github.io/ .