Navegación de Instancias Colaborativa: Aprovechando el Auto-diálogo del Agente para Minimizar la Entrada del Usuario

Collaborative Instance Navigation: Leveraging Agent Self-Dialogue to Minimize User Input

December 2, 2024

Autores: Francesco Taioli, Edoardo Zorzi, Gianni Franchi, Alberto Castellini, Alessandro Farinelli, Marco Cristani, Yiming Wang

cs.AI

Resumen

Las tareas existentes de navegación de objetivos de instancia encarnada, impulsadas por lenguaje natural, asumen que los usuarios humanos proporcionan descripciones de instancia completas y matizadas antes de la navegación, lo cual puede resultar poco práctico en el mundo real, ya que las instrucciones humanas podrían ser breves y ambiguas. Para cerrar esta brecha, proponemos una nueva tarea, Navegación de Instancia Colaborativa (CoIN), con interacción dinámica agente-humano durante la navegación para resolver activamente las incertidumbres sobre la instancia objetivo en diálogos naturales, sin plantillas y abiertos. Para abordar CoIN, proponemos un método novedoso, Interacción Agente-Usuario con Conciencia de Incertidumbre (AIUTA), aprovechando la capacidad de percepción de Modelos de Lenguaje Visual (VLMs) y la capacidad de Modelos de Lenguaje Grandes (LLMs). Primero, tras la detección de objetos, un modelo Auto-Cuestionador inicia un auto-diálogo para obtener una descripción de observación completa y precisa, mientras una técnica novedosa de estimación de incertidumbre mitiga la percepción inexacta de VLM. Luego, un módulo de Disparador de Interacción determina si hacer una pregunta al usuario, continuar o detener la navegación, minimizando la entrada del usuario. Para la evaluación, presentamos CoIN-Bench, un banco de pruebas que soporta tanto humanos reales como simulados. AIUTA logra un rendimiento competitivo en la navegación de instancias frente a métodos de vanguardia, demostrando una gran flexibilidad en el manejo de las entradas de usuario.

English

Existing embodied instance goal navigation tasks, driven by natural language, assume human users to provide complete and nuanced instance descriptions prior to the navigation, which can be impractical in the real world as human instructions might be brief and ambiguous. To bridge this gap, we propose a new task, Collaborative Instance Navigation (CoIN), with dynamic agent-human interaction during navigation to actively resolve uncertainties about the target instance in natural, template-free, open-ended dialogues. To address CoIN, we propose a novel method, Agent-user Interaction with UncerTainty Awareness (AIUTA), leveraging the perception capability of Vision Language Models (VLMs) and the capability of Large Language Models (LLMs). First, upon object detection, a Self-Questioner model initiates a self-dialogue to obtain a complete and accurate observation description, while a novel uncertainty estimation technique mitigates inaccurate VLM perception. Then, an Interaction Trigger module determines whether to ask a question to the user, continue or halt navigation, minimizing user input. For evaluation, we introduce CoIN-Bench, a benchmark supporting both real and simulated humans. AIUTA achieves competitive performance in instance navigation against state-of-the-art methods, demonstrating great flexibility in handling user inputs.