UniGoal: Verso una Navigazione Orientata agli Obiettivi Universale a Zero-shot

UniGoal: Towards Universal Zero-shot Goal-oriented Navigation

March 13, 2025

Autori: Hang Yin, Xiuwei Xu, Lingqing Zhao, Ziwei Wang, Jie Zhou, Jiwen Lu

cs.AI

Abstract

In questo articolo, proponiamo un framework generale per la navigazione universale zero-shot orientata agli obiettivi. I metodi zero-shot esistenti costruiscono un framework di inferenza basato su modelli linguistici di grandi dimensioni (LLM) per compiti specifici, che differiscono notevolmente nella pipeline complessiva e non riescono a generalizzare su diversi tipi di obiettivi. Verso l'obiettivo della navigazione universale zero-shot, proponiamo una rappresentazione grafica uniforme per unificare diversi obiettivi, inclusi categorie di oggetti, immagini di istanze e descrizioni testuali. Convertiamo inoltre l'osservazione dell'agente in un grafo della scena mantenuto online. Con questa rappresentazione coerente della scena e dell'obiettivo, preserviamo la maggior parte delle informazioni strutturali rispetto al puro testo e siamo in grado di sfruttare l'LLM per un ragionamento esplicito basato su grafi. Nello specifico, eseguiamo il matching tra il grafo della scena e il grafo dell'obiettivo in ogni istante di tempo e proponiamo diverse strategie per generare un obiettivo a lungo termine di esplorazione in base ai diversi stati di matching. L'agente cerca iterativamente un sottografo dell'obiettivo quando non c'è alcun matching. Con un matching parziale, l'agente utilizza quindi la proiezione delle coordinate e l'allineamento delle coppie di ancoraggio per inferire la posizione dell'obiettivo. Infine, la correzione del grafo della scena e la verifica dell'obiettivo vengono applicati per ottenere un matching perfetto. Presentiamo inoltre un meccanismo di blacklist per consentire un passaggio robusto tra le fasi. Esperimenti estesi su diversi benchmark dimostrano che il nostro UniGoal raggiunge prestazioni zero-shot all'avanguardia su tre compiti di navigazione studiati con un singolo modello, superando persino i metodi zero-shot specifici per compito e i metodi universali supervisionati.

English

In this paper, we propose a general framework for universal zero-shot goal-oriented navigation. Existing zero-shot methods build inference framework upon large language models (LLM) for specific tasks, which differs a lot in overall pipeline and fails to generalize across different types of goal. Towards the aim of universal zero-shot navigation, we propose a uniform graph representation to unify different goals, including object category, instance image and text description. We also convert the observation of agent into an online maintained scene graph. With this consistent scene and goal representation, we preserve most structural information compared with pure text and are able to leverage LLM for explicit graph-based reasoning. Specifically, we conduct graph matching between the scene graph and goal graph at each time instant and propose different strategies to generate long-term goal of exploration according to different matching states. The agent first iteratively searches subgraph of goal when zero-matched. With partial matching, the agent then utilizes coordinate projection and anchor pair alignment to infer the goal location. Finally scene graph correction and goal verification are applied for perfect matching. We also present a blacklist mechanism to enable robust switch between stages. Extensive experiments on several benchmarks show that our UniGoal achieves state-of-the-art zero-shot performance on three studied navigation tasks with a single model, even outperforming task-specific zero-shot methods and supervised universal methods.