LLM-Grounder: Fundamentación Visual 3D de Vocabulario Abierto con un Modelo de Lenguaje Grande como Agente

LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent

September 21, 2023

Autores: Jianing Yang, Xuweiyi Chen, Shengyi Qian, Nikhil Madaan, Madhavan Iyengar, David F. Fouhey, Joyce Chai

cs.AI

Resumen

La localización visual en 3D es una habilidad fundamental para los robots domésticos, permitiéndoles navegar, manipular objetos y responder preguntas basadas en su entorno. Mientras que los enfoques existentes suelen depender de grandes cantidades de datos etiquetados o presentan limitaciones al manejar consultas lingüísticas complejas, proponemos LLM-Grounder, una novedosa pipeline de localización visual en 3D basada en modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) que funciona en modo zero-shot y con vocabulario abierto. LLM-Grounder utiliza un LLM para descomponer consultas complejas en lenguaje natural en constituyentes semánticos y emplea una herramienta de localización visual, como OpenScene o LERF, para identificar objetos en una escena 3D. Posteriormente, el LLM evalúa las relaciones espaciales y de sentido común entre los objetos propuestos para tomar una decisión final de localización. Nuestro método no requiere datos de entrenamiento etiquetados y puede generalizarse a escenas 3D novedosas y consultas de texto arbitrarias. Evaluamos LLM-Grounder en el benchmark ScanRefer y demostramos una precisión de localización zero-shot de vanguardia. Nuestros hallazgos indican que los LLM mejoran significativamente la capacidad de localización, especialmente para consultas lingüísticas complejas, convirtiendo a LLM-Grounder en un enfoque efectivo para tareas de visión-lenguaje en 3D en robótica. Los videos y demostraciones interactivas están disponibles en el sitio web del proyecto: https://chat-with-nerf.github.io/.

English

3D visual grounding is a critical skill for household robots, enabling them to navigate, manipulate objects, and answer questions based on their environment. While existing approaches often rely on extensive labeled data or exhibit limitations in handling complex language queries, we propose LLM-Grounder, a novel zero-shot, open-vocabulary, Large Language Model (LLM)-based 3D visual grounding pipeline. LLM-Grounder utilizes an LLM to decompose complex natural language queries into semantic constituents and employs a visual grounding tool, such as OpenScene or LERF, to identify objects in a 3D scene. The LLM then evaluates the spatial and commonsense relations among the proposed objects to make a final grounding decision. Our method does not require any labeled training data and can generalize to novel 3D scenes and arbitrary text queries. We evaluate LLM-Grounder on the ScanRefer benchmark and demonstrate state-of-the-art zero-shot grounding accuracy. Our findings indicate that LLMs significantly improve the grounding capability, especially for complex language queries, making LLM-Grounder an effective approach for 3D vision-language tasks in robotics. Videos and interactive demos can be found on the project website https://chat-with-nerf.github.io/ .