LLM-Grounder: Открытое словарное 3D визуальное закрепление с использованием крупной языковой модели в качестве агента

LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent

September 21, 2023

Авторы: Jianing Yang, Xuweiyi Chen, Shengyi Qian, Nikhil Madaan, Madhavan Iyengar, David F. Fouhey, Joyce Chai

cs.AI

Аннотация

3D визуальное заземление является критически важным навыком для бытовых роботов, позволяя им ориентироваться, манипулировать объектами и отвечать на вопросы на основе окружающей среды. В то время как существующие подходы часто полагаются на обширные размеченные данные или демонстрируют ограничения в обработке сложных языковых запросов, мы предлагаем LLM-Grounder — новый метод нулевого снимка с открытым словарным запасом, основанный на использовании больших языковых моделей (LLM) для 3D визуального заземления. LLM-Grounder использует LLM для декомпозиции сложных естественно-языковых запросов на семантические составляющие и применяет инструмент визуального заземления, такой как OpenScene или LERF, для идентификации объектов в 3D сцене. Затем LLM оценивает пространственные и общепринятые отношения между предложенными объектами, чтобы принять окончательное решение о заземлении. Наш метод не требует размеченных обучающих данных и может обобщаться на новые 3D сцены и произвольные текстовые запросы. Мы оцениваем LLM-Grounder на бенчмарке ScanRefer и демонстрируем передовую точность заземления в условиях нулевого снимка. Наши результаты показывают, что LLM значительно улучшают способность к заземлению, особенно для сложных языковых запросов, что делает LLM-Grounder эффективным подходом для задач 3D зрения и языка в робототехнике. Видео и интерактивные демонстрации можно найти на сайте проекта https://chat-with-nerf.github.io/.

English

3D visual grounding is a critical skill for household robots, enabling them to navigate, manipulate objects, and answer questions based on their environment. While existing approaches often rely on extensive labeled data or exhibit limitations in handling complex language queries, we propose LLM-Grounder, a novel zero-shot, open-vocabulary, Large Language Model (LLM)-based 3D visual grounding pipeline. LLM-Grounder utilizes an LLM to decompose complex natural language queries into semantic constituents and employs a visual grounding tool, such as OpenScene or LERF, to identify objects in a 3D scene. The LLM then evaluates the spatial and commonsense relations among the proposed objects to make a final grounding decision. Our method does not require any labeled training data and can generalize to novel 3D scenes and arbitrary text queries. We evaluate LLM-Grounder on the ScanRefer benchmark and demonstrate state-of-the-art zero-shot grounding accuracy. Our findings indicate that LLMs significantly improve the grounding capability, especially for complex language queries, making LLM-Grounder an effective approach for 3D vision-language tasks in robotics. Videos and interactive demos can be found on the project website https://chat-with-nerf.github.io/ .