UniGoal: На пути к универсальной навигации с нулевым обучением для достижения целей

UniGoal: Towards Universal Zero-shot Goal-oriented Navigation

March 13, 2025

Авторы: Hang Yin, Xiuwei Xu, Lingqing Zhao, Ziwei Wang, Jie Zhou, Jiwen Lu

cs.AI

Аннотация

В данной статье мы предлагаем общий фреймворк для универсальной навигации с нулевым обучением, ориентированной на цели. Существующие методы с нулевым обучением строят инфраструктуру вывода на основе больших языковых моделей (LLM) для конкретных задач, что значительно различается в общем конвейере и не позволяет обобщать для разных типов целей. Для достижения универсальной навигации с нулевым обучением мы предлагаем единое графовое представление для унификации различных целей, включая категории объектов, изображения экземпляров и текстовые описания. Мы также преобразуем наблюдения агента в онлайн поддерживаемый граф сцены. С таким согласованным представлением сцены и цели мы сохраняем большую часть структурной информации по сравнению с чистым текстом и можем использовать LLM для явного графового рассуждения. В частности, мы выполняем сопоставление графов между графом сцены и графом цели на каждом временном шаге и предлагаем различные стратегии для генерации долгосрочной цели исследования в зависимости от различных состояний сопоставления. Агент сначала итеративно ищет подграф цели при нулевом сопоставлении. При частичном сопоставлении агент затем использует проекцию координат и выравнивание пар якорей для вывода местоположения цели. Наконец, применяются коррекция графа сцены и проверка цели для идеального сопоставления. Мы также представляем механизм черного списка для обеспечения надежного переключения между этапами. Многочисленные эксперименты на нескольких бенчмарках показывают, что наш UniGoal достигает наилучших результатов с нулевым обучением на трех изученных задачах навигации с использованием одной модели, превосходя даже специализированные методы с нулевым обучением и универсальные методы с обучением.

English

In this paper, we propose a general framework for universal zero-shot goal-oriented navigation. Existing zero-shot methods build inference framework upon large language models (LLM) for specific tasks, which differs a lot in overall pipeline and fails to generalize across different types of goal. Towards the aim of universal zero-shot navigation, we propose a uniform graph representation to unify different goals, including object category, instance image and text description. We also convert the observation of agent into an online maintained scene graph. With this consistent scene and goal representation, we preserve most structural information compared with pure text and are able to leverage LLM for explicit graph-based reasoning. Specifically, we conduct graph matching between the scene graph and goal graph at each time instant and propose different strategies to generate long-term goal of exploration according to different matching states. The agent first iteratively searches subgraph of goal when zero-matched. With partial matching, the agent then utilizes coordinate projection and anchor pair alignment to infer the goal location. Finally scene graph correction and goal verification are applied for perfect matching. We also present a blacklist mechanism to enable robust switch between stages. Extensive experiments on several benchmarks show that our UniGoal achieves state-of-the-art zero-shot performance on three studied navigation tasks with a single model, even outperforming task-specific zero-shot methods and supervised universal methods.