LLM-Grounder: 大規模言語モデルをエージェントとしたオープン語彙型3D視覚的グラウンディング
LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent
September 21, 2023
著者: Jianing Yang, Xuweiyi Chen, Shengyi Qian, Nikhil Madaan, Madhavan Iyengar, David F. Fouhey, Joyce Chai
cs.AI
要旨
3D視覚的接地は、家庭用ロボットにとって重要なスキルであり、環境に基づいてナビゲーション、物体操作、質問への回答を可能にします。既存のアプローチは、大量のラベル付きデータに依存したり、複雑な言語クエリの処理に制限があったりすることが多いですが、私たちはLLM-Grounderを提案します。これは、ゼロショット、オープン語彙、大規模言語モデル（LLM）ベースの新しい3D視覚的接地パイプラインです。LLM-Grounderは、LLMを利用して複雑な自然言語クエリを意味的構成要素に分解し、OpenSceneやLERFなどの視覚的接地ツールを使用して3Dシーン内の物体を特定します。その後、LLMは提案された物体間の空間的および常識的関係を評価し、最終的な接地決定を行います。私たちの手法は、ラベル付きのトレーニングデータを一切必要とせず、新しい3Dシーンや任意のテキストクエリに一般化できます。ScanReferベンチマークでLLM-Grounderを評価し、最先端のゼロショット接地精度を実証しました。私たちの研究結果は、LLMが特に複雑な言語クエリに対して接地能力を大幅に向上させることを示しており、LLM-Grounderがロボティクスにおける3D視覚言語タスクの効果的なアプローチであることを示しています。ビデオとインタラクティブデモはプロジェクトウェブサイトhttps://chat-with-nerf.github.io/でご覧いただけます。
English
3D visual grounding is a critical skill for household robots, enabling them
to navigate, manipulate objects, and answer questions based on their
environment. While existing approaches often rely on extensive labeled data or
exhibit limitations in handling complex language queries, we propose
LLM-Grounder, a novel zero-shot, open-vocabulary, Large Language Model
(LLM)-based 3D visual grounding pipeline. LLM-Grounder utilizes an LLM to
decompose complex natural language queries into semantic constituents and
employs a visual grounding tool, such as OpenScene or LERF, to identify objects
in a 3D scene. The LLM then evaluates the spatial and commonsense relations
among the proposed objects to make a final grounding decision. Our method does
not require any labeled training data and can generalize to novel 3D scenes and
arbitrary text queries. We evaluate LLM-Grounder on the ScanRefer benchmark and
demonstrate state-of-the-art zero-shot grounding accuracy. Our findings
indicate that LLMs significantly improve the grounding capability, especially
for complex language queries, making LLM-Grounder an effective approach for 3D
vision-language tasks in robotics. Videos and interactive demos can be found on
the project website https://chat-with-nerf.github.io/ .