共同インスタンスナビゲーション：ユーザー入力を最小限に抑えるためのエージェント自己対話の活用

Collaborative Instance Navigation: Leveraging Agent Self-Dialogue to Minimize User Input

December 2, 2024

著者: Francesco Taioli, Edoardo Zorzi, Gianni Franchi, Alberto Castellini, Alessandro Farinelli, Marco Cristani, Yiming Wang

cs.AI

要旨

既存の具体的なインスタンスの目標ナビゲーションタスクは、自然言語に基づいており、ナビゲーションの前に人間のユーザーが完全かつ微妙なインスタンスの記述を提供することを前提としています。しかし、現実世界では人間の指示が簡潔で曖昧な場合があり、これは実用的ではありません。このギャップを埋めるために、我々は新しいタスク、共同インスタンスナビゲーション（CoIN）を提案します。このタスクでは、ナビゲーション中に動的なエージェント-人間の相互作用を通じて、自然でテンプレートフリーでオープンエンドな対話によってターゲットインスタンスに関する不確実性を積極的に解決します。CoINに対処するために、我々は新しい手法、不確実性認識を備えたエージェント-ユーザー相互作用（AIUTA）を提案します。これは、ビジョン言語モデル（VLMs）の知覚能力と大規模言語モデル（LLMs）の能力を活用します。まず、オブジェクトの検出後、自己質問者モデルが自己対話を開始して完全かつ正確な観察記述を取得し、新しい不確実性推定技術が不正確なVLMの知覚を軽減します。その後、相互作用トリガーモジュールがユーザーに質問するか、ナビゲーションを継続するか停止するかを決定し、ユーザー入力を最小限に抑えます。評価のために、実際の人間とシミュレートされた人間の両方をサポートするベンチマークであるCoIN-Benchを導入します。AIUTAは、最先端の手法に対してインスタンスナビゲーションで競争力のあるパフォーマンスを達成し、ユーザー入力を処理する柔軟性を示しています。

English

Existing embodied instance goal navigation tasks, driven by natural language, assume human users to provide complete and nuanced instance descriptions prior to the navigation, which can be impractical in the real world as human instructions might be brief and ambiguous. To bridge this gap, we propose a new task, Collaborative Instance Navigation (CoIN), with dynamic agent-human interaction during navigation to actively resolve uncertainties about the target instance in natural, template-free, open-ended dialogues. To address CoIN, we propose a novel method, Agent-user Interaction with UncerTainty Awareness (AIUTA), leveraging the perception capability of Vision Language Models (VLMs) and the capability of Large Language Models (LLMs). First, upon object detection, a Self-Questioner model initiates a self-dialogue to obtain a complete and accurate observation description, while a novel uncertainty estimation technique mitigates inaccurate VLM perception. Then, an Interaction Trigger module determines whether to ask a question to the user, continue or halt navigation, minimizing user input. For evaluation, we introduce CoIN-Bench, a benchmark supporting both real and simulated humans. AIUTA achieves competitive performance in instance navigation against state-of-the-art methods, demonstrating great flexibility in handling user inputs.