UniGoal: Op weg naar universele zero-shot doelgerichte navigatie

UniGoal: Towards Universal Zero-shot Goal-oriented Navigation

March 13, 2025

Auteurs: Hang Yin, Xiuwei Xu, Lingqing Zhao, Ziwei Wang, Jie Zhou, Jiwen Lu

cs.AI

Samenvatting

In dit artikel presenteren we een algemeen framework voor universele zero-shot doelgerichte navigatie. Bestaande zero-shot methoden bouwen een inferentiekader op basis van grote taalmodellen (LLM) voor specifieke taken, wat sterk verschilt in de algehele pipeline en niet generaliseert over verschillende soorten doelen. Met het oog op universele zero-shot navigatie stellen we een uniforme grafische representatie voor om verschillende doelen te verenigen, waaronder objectcategorieën, instantiebeelden en tekstbeschrijvingen. We zetten ook de observatie van de agent om in een online onderhouden scènegraph. Met deze consistente scène- en doelrepresentatie behouden we de meeste structurele informatie in vergelijking met pure tekst en kunnen we LLM inzetten voor expliciete grafische redenering. Specifiek voeren we grafische matching uit tussen de scènegraph en de doelgraph op elk tijdstip en stellen we verschillende strategieën voor om langetermijndoelen van exploratie te genereren op basis van verschillende matchingstatussen. De agent zoekt eerst iteratief naar subgraphs van het doel bij zero-matching. Bij gedeeltelijke matching gebruikt de agent vervolgens coördinaatprojectie en ankerpaaruitlijning om de doellocatie af te leiden. Ten slotte worden scènegraphcorrectie en doelverificatie toegepast voor perfecte matching. We introduceren ook een blacklistmechanisme om een robuuste overgang tussen fasen mogelijk te maken. Uitgebreide experimenten op verschillende benchmarks tonen aan dat onze UniGoal state-of-the-art zero-shot prestaties behaalt op drie bestudeerde navigatietaken met een enkel model, en zelfs task-specifieke zero-shot methoden en supervised universele methoden overtreft.

English

In this paper, we propose a general framework for universal zero-shot goal-oriented navigation. Existing zero-shot methods build inference framework upon large language models (LLM) for specific tasks, which differs a lot in overall pipeline and fails to generalize across different types of goal. Towards the aim of universal zero-shot navigation, we propose a uniform graph representation to unify different goals, including object category, instance image and text description. We also convert the observation of agent into an online maintained scene graph. With this consistent scene and goal representation, we preserve most structural information compared with pure text and are able to leverage LLM for explicit graph-based reasoning. Specifically, we conduct graph matching between the scene graph and goal graph at each time instant and propose different strategies to generate long-term goal of exploration according to different matching states. The agent first iteratively searches subgraph of goal when zero-matched. With partial matching, the agent then utilizes coordinate projection and anchor pair alignment to infer the goal location. Finally scene graph correction and goal verification are applied for perfect matching. We also present a blacklist mechanism to enable robust switch between stages. Extensive experiments on several benchmarks show that our UniGoal achieves state-of-the-art zero-shot performance on three studied navigation tasks with a single model, even outperforming task-specific zero-shot methods and supervised universal methods.