Navegação Colaborativa de Instâncias: Aproveitando o Auto Diálogo do Agente para Minimizar a Entrada do Usuário

Collaborative Instance Navigation: Leveraging Agent Self-Dialogue to Minimize User Input

December 2, 2024

Autores: Francesco Taioli, Edoardo Zorzi, Gianni Franchi, Alberto Castellini, Alessandro Farinelli, Marco Cristani, Yiming Wang

cs.AI

Resumo

As tarefas de navegação de objetivo de instância incorporada existentes, impulsionadas pela linguagem natural, pressupõem que os usuários humanos forneçam descrições de instância completas e nuances antes da navegação, o que pode ser impraticável no mundo real, uma vez que as instruções humanas podem ser breves e ambíguas. Para preencher essa lacuna, propomos uma nova tarefa, Navegação de Instância Colaborativa (CoIN), com interação dinâmica agente-humano durante a navegação para resolver ativamente incertezas sobre a instância alvo em diálogos naturais, sem modelos predefinidos e abertos. Para lidar com o CoIN, propomos um novo método, Interação Agente-Usuário com Consciência de Incerteza (AIUTA), aproveitando a capacidade de percepção dos Modelos de Linguagem Visual (VLMs) e a capacidade dos Modelos de Linguagem Grandes (LLMs). Primeiramente, após a detecção do objeto, um modelo Auto-Questionador inicia um auto-diálogo para obter uma descrição de observação completa e precisa, enquanto uma nova técnica de estimativa de incerteza mitiga a percepção imprecisa do VLM. Em seguida, um módulo de Gatilho de Interação determina se deve fazer uma pergunta ao usuário, continuar ou interromper a navegação, minimizando a entrada do usuário. Para avaliação, introduzimos o CoIN-Bench, um benchmark que suporta tanto humanos reais quanto simulados. O AIUTA alcança um desempenho competitivo na navegação de instâncias em comparação com métodos de ponta, demonstrando grande flexibilidade no tratamento das entradas do usuário.

English

Existing embodied instance goal navigation tasks, driven by natural language, assume human users to provide complete and nuanced instance descriptions prior to the navigation, which can be impractical in the real world as human instructions might be brief and ambiguous. To bridge this gap, we propose a new task, Collaborative Instance Navigation (CoIN), with dynamic agent-human interaction during navigation to actively resolve uncertainties about the target instance in natural, template-free, open-ended dialogues. To address CoIN, we propose a novel method, Agent-user Interaction with UncerTainty Awareness (AIUTA), leveraging the perception capability of Vision Language Models (VLMs) and the capability of Large Language Models (LLMs). First, upon object detection, a Self-Questioner model initiates a self-dialogue to obtain a complete and accurate observation description, while a novel uncertainty estimation technique mitigates inaccurate VLM perception. Then, an Interaction Trigger module determines whether to ask a question to the user, continue or halt navigation, minimizing user input. For evaluation, we introduce CoIN-Bench, a benchmark supporting both real and simulated humans. AIUTA achieves competitive performance in instance navigation against state-of-the-art methods, demonstrating great flexibility in handling user inputs.