UniGoal: Rumo à Navegação Orientada a Objetivos Universal com Zero-Shot

UniGoal: Towards Universal Zero-shot Goal-oriented Navigation

March 13, 2025

Autores: Hang Yin, Xiuwei Xu, Lingqing Zhao, Ziwei Wang, Jie Zhou, Jiwen Lu

cs.AI

Resumo

Neste artigo, propomos um framework geral para navegação orientada a objetivos universal em cenário zero-shot. Os métodos zero-shot existentes constroem frameworks de inferência baseados em grandes modelos de linguagem (LLM) para tarefas específicas, que diferem bastante no pipeline geral e falham em generalizar entre diferentes tipos de objetivos. Com o objetivo de alcançar uma navegação zero-shot universal, propomos uma representação gráfica uniforme para unificar diferentes objetivos, incluindo categoria de objeto, imagem de instância e descrição textual. Também convertemos a observação do agente em um grafo de cena mantido online. Com essa representação consistente de cena e objetivo, preservamos a maior parte das informações estruturais em comparação com o uso exclusivo de texto e somos capazes de aproveitar o LLM para raciocínio explícito baseado em grafos. Especificamente, realizamos a correspondência de grafos entre o grafo de cena e o grafo de objetivo em cada instante de tempo e propomos diferentes estratégias para gerar o objetivo de exploração de longo prazo de acordo com diferentes estados de correspondência. O agente primeiro busca iterativamente subgrafos do objetivo quando não há correspondência. Com correspondência parcial, o agente então utiliza projeção de coordenadas e alinhamento de pares âncora para inferir a localização do objetivo. Por fim, a correção do grafo de cena e a verificação do objetivo são aplicadas para correspondência perfeita. Também apresentamos um mecanismo de lista negra para permitir uma transição robusta entre os estágios. Experimentos extensivos em vários benchmarks mostram que nosso UniGoal alcança desempenho zero-shot de última geração em três tarefas de navegação estudadas com um único modelo, superando até mesmo métodos zero-shot específicos para tarefas e métodos universais supervisionados.

English

In this paper, we propose a general framework for universal zero-shot goal-oriented navigation. Existing zero-shot methods build inference framework upon large language models (LLM) for specific tasks, which differs a lot in overall pipeline and fails to generalize across different types of goal. Towards the aim of universal zero-shot navigation, we propose a uniform graph representation to unify different goals, including object category, instance image and text description. We also convert the observation of agent into an online maintained scene graph. With this consistent scene and goal representation, we preserve most structural information compared with pure text and are able to leverage LLM for explicit graph-based reasoning. Specifically, we conduct graph matching between the scene graph and goal graph at each time instant and propose different strategies to generate long-term goal of exploration according to different matching states. The agent first iteratively searches subgraph of goal when zero-matched. With partial matching, the agent then utilizes coordinate projection and anchor pair alignment to infer the goal location. Finally scene graph correction and goal verification are applied for perfect matching. We also present a blacklist mechanism to enable robust switch between stages. Extensive experiments on several benchmarks show that our UniGoal achieves state-of-the-art zero-shot performance on three studied navigation tasks with a single model, even outperforming task-specific zero-shot methods and supervised universal methods.