UniGoal: Hacia la Navegación Universal Orientada a Objetivos con Aprendizaje Cero

UniGoal: Towards Universal Zero-shot Goal-oriented Navigation

March 13, 2025

Autores: Hang Yin, Xiuwei Xu, Lingqing Zhao, Ziwei Wang, Jie Zhou, Jiwen Lu

cs.AI

Resumen

En este artículo, proponemos un marco general para la navegación orientada a objetivos universal en modo zero-shot. Los métodos zero-shot existentes construyen un marco de inferencia basado en modelos de lenguaje de gran escala (LLM) para tareas específicas, lo cual difiere significativamente en la estructura general y no logra generalizarse entre diferentes tipos de objetivos. Con el fin de lograr una navegación universal zero-shot, proponemos una representación gráfica uniforme para unificar diferentes objetivos, incluyendo categorías de objetos, imágenes de instancias y descripciones textuales. También convertimos la observación del agente en un grafo de escena mantenido en línea. Con esta representación consistente de la escena y el objetivo, preservamos la mayor parte de la información estructural en comparación con el texto puro y podemos aprovechar los LLM para un razonamiento explícito basado en grafos. Específicamente, realizamos una coincidencia de grafos entre el grafo de la escena y el grafo del objetivo en cada instante de tiempo y proponemos diferentes estrategias para generar objetivos de exploración a largo plazo según los diferentes estados de coincidencia. El agente primero busca iterativamente un subgrafo del objetivo cuando no hay coincidencia. Con una coincidencia parcial, el agente utiliza proyección de coordenadas y alineación de pares de anclaje para inferir la ubicación del objetivo. Finalmente, se aplican correcciones del grafo de la escena y verificación del objetivo para lograr una coincidencia perfecta. También presentamos un mecanismo de lista negra para permitir una transición robusta entre etapas. Experimentos extensivos en varios benchmarks muestran que nuestro enfoque UniGoal alcanza un rendimiento zero-shot de vanguardia en tres tareas de navegación estudiadas con un solo modelo, superando incluso a métodos zero-shot específicos de tareas y métodos universales supervisados.

English

In this paper, we propose a general framework for universal zero-shot goal-oriented navigation. Existing zero-shot methods build inference framework upon large language models (LLM) for specific tasks, which differs a lot in overall pipeline and fails to generalize across different types of goal. Towards the aim of universal zero-shot navigation, we propose a uniform graph representation to unify different goals, including object category, instance image and text description. We also convert the observation of agent into an online maintained scene graph. With this consistent scene and goal representation, we preserve most structural information compared with pure text and are able to leverage LLM for explicit graph-based reasoning. Specifically, we conduct graph matching between the scene graph and goal graph at each time instant and propose different strategies to generate long-term goal of exploration according to different matching states. The agent first iteratively searches subgraph of goal when zero-matched. With partial matching, the agent then utilizes coordinate projection and anchor pair alignment to infer the goal location. Finally scene graph correction and goal verification are applied for perfect matching. We also present a blacklist mechanism to enable robust switch between stages. Extensive experiments on several benchmarks show that our UniGoal achieves state-of-the-art zero-shot performance on three studied navigation tasks with a single model, even outperforming task-specific zero-shot methods and supervised universal methods.