Совместная навигация по экземплярам: использование самодиалога агента для минимизации ввода пользователя.

Collaborative Instance Navigation: Leveraging Agent Self-Dialogue to Minimize User Input

December 2, 2024

Авторы: Francesco Taioli, Edoardo Zorzi, Gianni Franchi, Alberto Castellini, Alessandro Farinelli, Marco Cristani, Yiming Wang

cs.AI

Аннотация

Существующие задачи навигации к цели на основе воплощенных экземпляров, управляемые естественным языком, предполагают, что человеческие пользователи предоставляют полные и нюансированные описания экземпляров перед навигацией, что может быть непрактично в реальном мире, поскольку человеческие инструкции могут быть краткими и двусмысленными. Для устранения этого разрыва мы предлагаем новую задачу, Коллаборативную Навигацию по Экземплярам (CoIN), с динамическим взаимодействием агента и человека во время навигации для активного разрешения неопределенностей о целевом экземпляре в естественных, без шаблонов, открытых диалогах. Для решения задачи CoIN мы предлагаем новый метод, Взаимодействие Агента с Пользователем с Учетом Неопределенности (AIUTA), использующий возможности восприятия моделей Визуального Языка (VLMs) и возможности Больших Языковых Моделей (LLMs). Сначала, после обнаружения объекта, модель Само-Вопрошающего начинает самодиалог для получения полного и точного описания наблюдения, в то время как новая техника оценки неопределенности смягчает неточное восприятие VLM. Затем модуль Триггера Взаимодействия определяет, стоит ли задать вопрос пользователю, продолжить или прекратить навигацию, минимизируя ввод пользователя. Для оценки мы представляем CoIN-Bench, бенчмарк, поддерживающий как реальных, так и симулированных людей. AIUTA достигает конкурентоспособной производительности в навигации по экземплярам по сравнению с передовыми методами, демонстрируя большую гибкость в обработке ввода пользователя.

English

Existing embodied instance goal navigation tasks, driven by natural language, assume human users to provide complete and nuanced instance descriptions prior to the navigation, which can be impractical in the real world as human instructions might be brief and ambiguous. To bridge this gap, we propose a new task, Collaborative Instance Navigation (CoIN), with dynamic agent-human interaction during navigation to actively resolve uncertainties about the target instance in natural, template-free, open-ended dialogues. To address CoIN, we propose a novel method, Agent-user Interaction with UncerTainty Awareness (AIUTA), leveraging the perception capability of Vision Language Models (VLMs) and the capability of Large Language Models (LLMs). First, upon object detection, a Self-Questioner model initiates a self-dialogue to obtain a complete and accurate observation description, while a novel uncertainty estimation technique mitigates inaccurate VLM perception. Then, an Interaction Trigger module determines whether to ask a question to the user, continue or halt navigation, minimizing user input. For evaluation, we introduce CoIN-Bench, a benchmark supporting both real and simulated humans. AIUTA achieves competitive performance in instance navigation against state-of-the-art methods, demonstrating great flexibility in handling user inputs.