LLM-Grounder: Fundamentação Visual 3D de Vocabulário Aberto com Modelo de Linguagem de Grande Escala como Agente

LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent

September 21, 2023

Autores: Jianing Yang, Xuweiyi Chen, Shengyi Qian, Nikhil Madaan, Madhavan Iyengar, David F. Fouhey, Joyce Chai

cs.AI

Resumo

A fundamentação visual 3D é uma habilidade crucial para robôs domésticos, permitindo que eles naveguem, manipulem objetos e respondam a perguntas com base em seu ambiente. Enquanto abordagens existentes frequentemente dependem de grandes quantidades de dados rotulados ou apresentam limitações ao lidar com consultas linguísticas complexas, propomos o LLM-Grounder, um novo pipeline de fundamentação visual 3D baseado em Modelos de Linguagem de Grande Escala (LLMs), que opera em cenário zero-shot e com vocabulário aberto. O LLM-Grounder utiliza um LLM para decompor consultas complexas em linguagem natural em constituintes semânticos e emprega uma ferramenta de fundamentação visual, como OpenScene ou LERF, para identificar objetos em uma cena 3D. O LLM então avalia as relações espaciais e de senso comum entre os objetos propostos para tomar uma decisão final de fundamentação. Nosso método não requer nenhum dado de treinamento rotulado e pode generalizar para novas cenas 3D e consultas textuais arbitrárias. Avaliamos o LLM-Grounder no benchmark ScanRefer e demonstramos precisão de fundamentação zero-shot de última geração. Nossos resultados indicam que LLMs melhoram significativamente a capacidade de fundamentação, especialmente para consultas linguísticas complexas, tornando o LLM-Grounder uma abordagem eficaz para tarefas de visão e linguagem 3D em robótica. Vídeos e demonstrações interativas podem ser encontrados no site do projeto https://chat-with-nerf.github.io/.

English

3D visual grounding is a critical skill for household robots, enabling them to navigate, manipulate objects, and answer questions based on their environment. While existing approaches often rely on extensive labeled data or exhibit limitations in handling complex language queries, we propose LLM-Grounder, a novel zero-shot, open-vocabulary, Large Language Model (LLM)-based 3D visual grounding pipeline. LLM-Grounder utilizes an LLM to decompose complex natural language queries into semantic constituents and employs a visual grounding tool, such as OpenScene or LERF, to identify objects in a 3D scene. The LLM then evaluates the spatial and commonsense relations among the proposed objects to make a final grounding decision. Our method does not require any labeled training data and can generalize to novel 3D scenes and arbitrary text queries. We evaluate LLM-Grounder on the ScanRefer benchmark and demonstrate state-of-the-art zero-shot grounding accuracy. Our findings indicate that LLMs significantly improve the grounding capability, especially for complex language queries, making LLM-Grounder an effective approach for 3D vision-language tasks in robotics. Videos and interactive demos can be found on the project website https://chat-with-nerf.github.io/ .