LLM-Grounder: Grounding Visivo 3D a Vocabolario Aperto con Modelli Linguistici di Grandi Dimensioni come Agente

LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent

September 21, 2023

Autori: Jianing Yang, Xuweiyi Chen, Shengyi Qian, Nikhil Madaan, Madhavan Iyengar, David F. Fouhey, Joyce Chai

cs.AI

Abstract

Il grounding visivo 3D è un'abilità cruciale per i robot domestici, consentendo loro di navigare, manipolare oggetti e rispondere a domande basate sul loro ambiente. Mentre gli approcci esistenti spesso si affidano a dati etichettati estensivi o presentano limitazioni nella gestione di query linguistiche complesse, proponiamo LLM-Grounder, una nuova pipeline di grounding visivo 3D basata su Large Language Model (LLM) zero-shot e open-vocabulary. LLM-Grounder utilizza un LLM per scomporre query in linguaggio naturale complesse in costituenti semantici e impiega uno strumento di grounding visivo, come OpenScene o LERF, per identificare oggetti in una scena 3D. L'LLM valuta quindi le relazioni spaziali e di senso comune tra gli oggetti proposti per prendere una decisione finale di grounding. Il nostro metodo non richiede dati di training etichettati e può generalizzare a nuove scene 3D e query testuali arbitrarie. Valutiamo LLM-Grounder sul benchmark ScanRefer e dimostriamo un'accuratezza di grounding zero-shot all'avanguardia. I nostri risultati indicano che gli LLM migliorano significativamente la capacità di grounding, specialmente per query linguistiche complesse, rendendo LLM-Grounder un approccio efficace per i compiti di visione e linguaggio 3D nella robotica. Video e demo interattive sono disponibili sul sito del progetto https://chat-with-nerf.github.io/.

English

3D visual grounding is a critical skill for household robots, enabling them to navigate, manipulate objects, and answer questions based on their environment. While existing approaches often rely on extensive labeled data or exhibit limitations in handling complex language queries, we propose LLM-Grounder, a novel zero-shot, open-vocabulary, Large Language Model (LLM)-based 3D visual grounding pipeline. LLM-Grounder utilizes an LLM to decompose complex natural language queries into semantic constituents and employs a visual grounding tool, such as OpenScene or LERF, to identify objects in a 3D scene. The LLM then evaluates the spatial and commonsense relations among the proposed objects to make a final grounding decision. Our method does not require any labeled training data and can generalize to novel 3D scenes and arbitrary text queries. We evaluate LLM-Grounder on the ScanRefer benchmark and demonstrate state-of-the-art zero-shot grounding accuracy. Our findings indicate that LLMs significantly improve the grounding capability, especially for complex language queries, making LLM-Grounder an effective approach for 3D vision-language tasks in robotics. Videos and interactive demos can be found on the project website https://chat-with-nerf.github.io/ .