A4-Agent: ゼロショットアフォーダンス推論のためのエージェントフレームワーク

要旨

アフォーダンス予測は、言語指示に基づいて物体上のインタラクション領域を特定する技術であり、具身化AIにおいて極めて重要である。従来のエンドツーエンドモデルは、高次元の推論と低次元の接地を単一のパイプラインに結合し、注釈付きデータセットによる学習に依存するため、新しい物体や未経験の環境への汎化性能が低いという課題がある。本論文では、このパラダイムを超えて、アフォーダンス予測を3段階のパイプラインに分離する訓練不要のエージェントフレームワーク「A4-Agent」を提案する。本フレームワークは、推論時に専門化された基盤モデルを協調させる：(1) 生成モデルを用いてインタラクションの結果を可視化する「Dreamer」、(2) 大規模視覚言語モデルを活用してインタラクション対象の物体部位を決定する「Thinker」、(3) 視覚基盤モデルを統制してインタラクション領域を精密に特定する「Spotter」。タスク固有のファインチューニングを一切行わずに、事前訓練済みモデルの相補的な強みを活用する本ゼロショットフレームワークは、複数のベンチマークにおいて教師あり手法の最高性能を大幅に上回り、実世界環境への頑健な汎化性能を示す。

English

Affordance prediction, which identifies interaction regions on objects based on language instructions, is critical for embodied AI. Prevailing end-to-end models couple high-level reasoning and low-level grounding into a single monolithic pipeline and rely on training over annotated datasets, which leads to poor generalization on novel objects and unseen environments. In this paper, we move beyond this paradigm by proposing A4-Agent, a training-free agentic framework that decouples affordance prediction into a three-stage pipeline. Our framework coordinates specialized foundation models at test time: (1) a Dreamer that employs generative models to visualize how an interaction would look; (2) a Thinker that utilizes large vision-language models to decide what object part to interact with; and (3) a Spotter that orchestrates vision foundation models to precisely locate where the interaction area is. By leveraging the complementary strengths of pre-trained models without any task-specific fine-tuning, our zero-shot framework significantly outperforms state-of-the-art supervised methods across multiple benchmarks and demonstrates robust generalization to real-world settings.

A4-Agent: ゼロショットアフォーダンス推論のためのエージェントフレームワーク

A4-Agent: An Agentic Framework for Zero-Shot Affordance Reasoning

要旨

Support