Navigation d'instance collaborative : Exploiter le dialogue interne de l'agent pour minimiser l'entrée de l'utilisateur

Collaborative Instance Navigation: Leveraging Agent Self-Dialogue to Minimize User Input

December 2, 2024

Auteurs: Francesco Taioli, Edoardo Zorzi, Gianni Franchi, Alberto Castellini, Alessandro Farinelli, Marco Cristani, Yiming Wang

cs.AI

Résumé

Les tâches existantes de navigation d'objectif d'instance incarnée, basées sur le langage naturel, supposent que les utilisateurs humains fournissent des descriptions d'instance complètes et nuancées avant la navigation, ce qui peut être impraticable dans le monde réel car les instructions humaines peuvent être brèves et ambiguës. Pour combler cet écart, nous proposons une nouvelle tâche, la Navigation d'Instance Collaborative (CoIN), avec une interaction dynamique agent-humain pendant la navigation pour résoudre activement les incertitudes sur l'instance cible dans des dialogues naturels, sans modèle prédéfini et ouverts. Pour aborder CoIN, nous proposons une nouvelle méthode, Interaction Agent-utilisateur avec Conscience de l'Incertitude (AIUTA), exploitant la capacité de perception des Modèles de Langage Vision (VLMs) et la capacité des Grands Modèles de Langage (LLMs). Tout d'abord, suite à la détection d'objet, un modèle Auto-Questionneur initie un auto-dialogue pour obtenir une description d'observation complète et précise, tandis qu'une nouvelle technique d'estimation d'incertitude atténue la perception inexacte des VLMs. Ensuite, un module de Déclencheur d'Interaction détermine s'il faut poser une question à l'utilisateur, continuer ou arrêter la navigation, minimisant l'entrée de l'utilisateur. Pour l'évaluation, nous introduisons CoIN-Bench, un banc d'essai prenant en charge à la fois des humains réels et simulés. AIUTA atteint des performances compétitives en matière de navigation d'instance par rapport aux méthodes de pointe, démontrant une grande flexibilité dans le traitement des entrées utilisateur.

English

Existing embodied instance goal navigation tasks, driven by natural language, assume human users to provide complete and nuanced instance descriptions prior to the navigation, which can be impractical in the real world as human instructions might be brief and ambiguous. To bridge this gap, we propose a new task, Collaborative Instance Navigation (CoIN), with dynamic agent-human interaction during navigation to actively resolve uncertainties about the target instance in natural, template-free, open-ended dialogues. To address CoIN, we propose a novel method, Agent-user Interaction with UncerTainty Awareness (AIUTA), leveraging the perception capability of Vision Language Models (VLMs) and the capability of Large Language Models (LLMs). First, upon object detection, a Self-Questioner model initiates a self-dialogue to obtain a complete and accurate observation description, while a novel uncertainty estimation technique mitigates inaccurate VLM perception. Then, an Interaction Trigger module determines whether to ask a question to the user, continue or halt navigation, minimizing user input. For evaluation, we introduce CoIN-Bench, a benchmark supporting both real and simulated humans. AIUTA achieves competitive performance in instance navigation against state-of-the-art methods, demonstrating great flexibility in handling user inputs.