A4-Agent: 제로샷 어포던스 추론을 위한 에이전트 프레임워크

초록

어포던스 예측은 언어 지시에 기반하여 객체 상호작용 영역을 식별하는 기술로, 구현형 AI에서 중요한 역할을 합니다. 기존의 종단간(end-to-end) 모델들은 고수준 추론과 저수준 접지(grounding)를 단일 파이프라인으로 결합하고 주석 처리된 데이터셋에 의존한 학습을 통해 접근함으로써, 새로운 객체나 보지 않은 환경에서의 일반화 성능이 낮은 한계를 보였습니다. 본 논문에서는 이러한 패러다임을 넘어 어포던스 예측을 3단계 파이프라인으로 분리하는 학습 불필요형 에이전트 프레임워크인 A4-Agent를 제안합니다. 우리의 프레임워크는 테스트 단계에서 특화된 파운데이션 모델들을 조율합니다: (1) 생성 모델을 활용하여 상호작용 결과를 시각화하는 '드리머(Dreamer)', (2) 대규모 시각-언어 모델을 이용해 어떤 객체 부위와 상호작용할지 결정하는 '씽커(Thinker)', (3) 시각 파운데이션 모델을 조정하여 상호작용 영역의 정확한 위치를 파악하는 '스포터(Spotter)'. 사전 학습된 모델들의 상호 보완적 강점을 과제 특화 미세 조정 없이 활용함으로써, 우리의 제로샷 프레임워크는 여러 벤치마크에서 최첨단 지도 학습 방법들을 크게 능가하며 실제 환경으로의 강건한 일반화 성능을 입증합니다.

English

Affordance prediction, which identifies interaction regions on objects based on language instructions, is critical for embodied AI. Prevailing end-to-end models couple high-level reasoning and low-level grounding into a single monolithic pipeline and rely on training over annotated datasets, which leads to poor generalization on novel objects and unseen environments. In this paper, we move beyond this paradigm by proposing A4-Agent, a training-free agentic framework that decouples affordance prediction into a three-stage pipeline. Our framework coordinates specialized foundation models at test time: (1) a Dreamer that employs generative models to visualize how an interaction would look; (2) a Thinker that utilizes large vision-language models to decide what object part to interact with; and (3) a Spotter that orchestrates vision foundation models to precisely locate where the interaction area is. By leveraging the complementary strengths of pre-trained models without any task-specific fine-tuning, our zero-shot framework significantly outperforms state-of-the-art supervised methods across multiple benchmarks and demonstrates robust generalization to real-world settings.

A4-Agent: 제로샷 어포던스 추론을 위한 에이전트 프레임워크

A4-Agent: An Agentic Framework for Zero-Shot Affordance Reasoning

초록

Support