Kollaborative Instanznavigation: Nutzung von Agenten-Selbstgesprächen zur Minimierung von Benutzereingaben

Collaborative Instance Navigation: Leveraging Agent Self-Dialogue to Minimize User Input

December 2, 2024

Autoren: Francesco Taioli, Edoardo Zorzi, Gianni Franchi, Alberto Castellini, Alessandro Farinelli, Marco Cristani, Yiming Wang

cs.AI

Zusammenfassung

Bestehende verkörperte Instanzziel-Navigationstasks, die von natürlicher Sprache gesteuert werden, setzen voraus, dass menschliche Benutzer vor der Navigation vollständige und nuancierte Instanzbeschreibungen liefern, was in der realen Welt unpraktisch sein kann, da menschliche Anweisungen knapp und mehrdeutig sein können. Um diese Lücke zu überbrücken, schlagen wir eine neue Aufgabe vor, die Kollaborative Instanznavigation (CoIN), mit dynamischer Agenten-Benutzer-Interaktion während der Navigation vor, um Unsicherheiten über die Zielinstanz in natürlichen, vorlagenfreien, offenen Dialogen aktiv zu lösen. Um CoIN anzugehen, schlagen wir eine neue Methode vor, die Agent-Benutzer-Interaktion mit Unsicherheitsbewusstsein (AIUTA), nutzt die Wahrnehmungsfähigkeit von Visionssprachmodellen (VLMs) und die Fähigkeit von großen Sprachmodellen (LLMs). Zunächst initiiert ein Selbst-Frager-Modell nach der Objekterkennung einen Selbst-Dialog, um eine vollständige und genaue Beobachtungsbeschreibung zu erhalten, während eine neuartige Unsicherheitsschätzungstechnik ungenaue VLM-Wahrnehmung mindert. Anschließend bestimmt ein Interaktionsauslösermodul, ob eine Frage an den Benutzer gestellt, die Navigation fortgesetzt oder gestoppt werden soll, um die Benutzereingabe zu minimieren. Zur Bewertung führen wir CoIN-Bench ein, einen Benchmark, der sowohl echte als auch simulierte Menschen unterstützt. AIUTA erzielt eine wettbewerbsfähige Leistung bei der Instanznavigation gegenüber modernsten Methoden und zeigt eine hohe Flexibilität im Umgang mit Benutzereingaben.

English

Existing embodied instance goal navigation tasks, driven by natural language, assume human users to provide complete and nuanced instance descriptions prior to the navigation, which can be impractical in the real world as human instructions might be brief and ambiguous. To bridge this gap, we propose a new task, Collaborative Instance Navigation (CoIN), with dynamic agent-human interaction during navigation to actively resolve uncertainties about the target instance in natural, template-free, open-ended dialogues. To address CoIN, we propose a novel method, Agent-user Interaction with UncerTainty Awareness (AIUTA), leveraging the perception capability of Vision Language Models (VLMs) and the capability of Large Language Models (LLMs). First, upon object detection, a Self-Questioner model initiates a self-dialogue to obtain a complete and accurate observation description, while a novel uncertainty estimation technique mitigates inaccurate VLM perception. Then, an Interaction Trigger module determines whether to ask a question to the user, continue or halt navigation, minimizing user input. For evaluation, we introduce CoIN-Bench, a benchmark supporting both real and simulated humans. AIUTA achieves competitive performance in instance navigation against state-of-the-art methods, demonstrating great flexibility in handling user inputs.