UniGoal：ユニバーサルゼロショット目標指向ナビゲーションに向けて

UniGoal: Towards Universal Zero-shot Goal-oriented Navigation

March 13, 2025

著者: Hang Yin, Xiuwei Xu, Lingqing Zhao, Ziwei Wang, Jie Zhou, Jiwen Lu

cs.AI

要旨

本論文では、ユニバーサルゼロショット目標指向ナビゲーションのための汎用フレームワークを提案する。既存のゼロショット手法は、特定のタスクに対して大規模言語モデル（LLM）に基づく推論フレームワークを構築しているが、その全体のパイプラインは大きく異なり、異なる種類の目標に対して汎化することができない。ユニバーサルゼロショットナビゲーションを目指して、我々は異なる目標（オブジェクトカテゴリ、インスタンス画像、テキスト記述など）を統一するための均一なグラフ表現を提案する。また、エージェントの観測をオンラインで維持されるシーングラフに変換する。この一貫したシーンと目標表現により、純粋なテキストと比較してほとんどの構造情報を保持し、LLMを活用した明示的なグラフベースの推論が可能となる。具体的には、各時点でシーングラフと目標グラフの間でグラフマッチングを行い、異なるマッチング状態に応じて探索の長期的目標を生成するための異なる戦略を提案する。エージェントは、ゼロマッチング時に目標のサブグラフを反復的に探索する。部分マッチング時には、座標投影とアンカーペアアライメントを利用して目標位置を推論する。最後に、完全マッチングのためにシーングラフ補正と目標検証が適用される。また、段階間のロバストな切り替えを可能にするブラックリストメカニズムも提示する。いくつかのベンチマークでの大規模な実験により、我々のUniGoalは、単一のモデルで3つのナビゲーションタスクにおいて最先端のゼロショット性能を達成し、タスク固有のゼロショット手法や教師ありのユニバーサル手法を上回ることを示した。

English

In this paper, we propose a general framework for universal zero-shot goal-oriented navigation. Existing zero-shot methods build inference framework upon large language models (LLM) for specific tasks, which differs a lot in overall pipeline and fails to generalize across different types of goal. Towards the aim of universal zero-shot navigation, we propose a uniform graph representation to unify different goals, including object category, instance image and text description. We also convert the observation of agent into an online maintained scene graph. With this consistent scene and goal representation, we preserve most structural information compared with pure text and are able to leverage LLM for explicit graph-based reasoning. Specifically, we conduct graph matching between the scene graph and goal graph at each time instant and propose different strategies to generate long-term goal of exploration according to different matching states. The agent first iteratively searches subgraph of goal when zero-matched. With partial matching, the agent then utilizes coordinate projection and anchor pair alignment to infer the goal location. Finally scene graph correction and goal verification are applied for perfect matching. We also present a blacklist mechanism to enable robust switch between stages. Extensive experiments on several benchmarks show that our UniGoal achieves state-of-the-art zero-shot performance on three studied navigation tasks with a single model, even outperforming task-specific zero-shot methods and supervised universal methods.