A4-Agent: Агентный фреймворк для рассуждений о перспективах действий в условиях zero-shot
A4-Agent: An Agentic Framework for Zero-Shot Affordance Reasoning
December 16, 2025
Авторы: Zixin Zhang, Kanghao Chen, Hanqing Wang, Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Litao Guo, Ying-Cong Chen
cs.AI
Аннотация
Прогнозирование аффордансов — задача определения областей взаимодействия на объектах на основе языковых инструкций — играет ключевую роль в воплощенном искусственном интеллекте. Существующие end-to-end модели объединяют высокоуровневые рассуждения и низкоуровневую локализацию в единый монолитный конвейер и полагаются на обучение размеченным наборам данных, что приводит к слабой обобщающей способности на новых объектах и в неизвестных средах. В данной статье мы выходим за рамки этой парадигмы, предлагая A4-Agent — бестренировочный агентский фреймворк, который разделяет прогнозирование аффордансов на трехэтапный конвейер. Наша система координирует специализированные фундаментальные модели на этапе тестирования: (1) «Мечтатель» использует генеративные модели для визуализации того, как будет выглядеть взаимодействие; (2) «Мыслитель» задействует большие визуально-языковые модели для определения части объекта для взаимодействия; и (3) «Наблюдатель» управляет визуальными фундаментальными моделями для точного определения местоположения области взаимодействия. Благодаря использованию комплементарных преимуществ предварительно обученных моделей без какой-либо специфической дообучки, наш zero-shot фреймворк значительно превосходит современные supervised-методы по множеству бенчмарков и демонстрирует robust-обобщение в реальных условиях.
English
Affordance prediction, which identifies interaction regions on objects based on language instructions, is critical for embodied AI. Prevailing end-to-end models couple high-level reasoning and low-level grounding into a single monolithic pipeline and rely on training over annotated datasets, which leads to poor generalization on novel objects and unseen environments. In this paper, we move beyond this paradigm by proposing A4-Agent, a training-free agentic framework that decouples affordance prediction into a three-stage pipeline. Our framework coordinates specialized foundation models at test time: (1) a Dreamer that employs generative models to visualize how an interaction would look; (2) a Thinker that utilizes large vision-language models to decide what object part to interact with; and (3) a Spotter that orchestrates vision foundation models to precisely locate where the interaction area is. By leveraging the complementary strengths of pre-trained models without any task-specific fine-tuning, our zero-shot framework significantly outperforms state-of-the-art supervised methods across multiple benchmarks and demonstrates robust generalization to real-world settings.