A4-Agent : Un cadre agentique pour le raisonnement sur les affordances en zéro-shot
A4-Agent: An Agentic Framework for Zero-Shot Affordance Reasoning
December 16, 2025
papers.authors: Zixin Zhang, Kanghao Chen, Hanqing Wang, Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Litao Guo, Ying-Cong Chen
cs.AI
papers.abstract
La prédiction d'affordances, qui identifie les régions d'interaction sur les objets à partir d'instructions langagières, est essentielle pour l'IA incarnée. Les modèles end-to-end dominants couplent le raisonnement de haut niveau et l'ancrage de bas niveau dans un pipeline monolithique et s'appuient sur l'entraînement avec des jeux de données annotés, ce qui entraîne une mauvaise généralisation sur de nouveaux objets et environnements inédits. Dans cet article, nous dépassons ce paradigme en proposant A4-Agent, un cadre agentique sans entraînement qui découple la prédiction d'affordances en un pipeline à trois étapes. Notre framework coordonne des modèles de fondation spécialisés au moment du test : (1) un Rêveur qui utilise des modèles génératifs pour visualiser l'apparence d'une interaction ; (2) un Penseur qui exploite les grands modèles vision-langage pour décider quelle partie d'objet interagir ; et (3) un Repéreur qui orchestre des modèles de fondation visuelle pour localiser précisément la zone d'interaction. En tirant parti des forces complémentaires de modèles pré-entraînés sans ajustement spécifique à la tâche, notre cadre zero-shot surpasse significativement les méthodes supervisées de pointe sur plusieurs benchmarks et démontre une robuste généralisation aux environnements réels.
English
Affordance prediction, which identifies interaction regions on objects based on language instructions, is critical for embodied AI. Prevailing end-to-end models couple high-level reasoning and low-level grounding into a single monolithic pipeline and rely on training over annotated datasets, which leads to poor generalization on novel objects and unseen environments. In this paper, we move beyond this paradigm by proposing A4-Agent, a training-free agentic framework that decouples affordance prediction into a three-stage pipeline. Our framework coordinates specialized foundation models at test time: (1) a Dreamer that employs generative models to visualize how an interaction would look; (2) a Thinker that utilizes large vision-language models to decide what object part to interact with; and (3) a Spotter that orchestrates vision foundation models to precisely locate where the interaction area is. By leveraging the complementary strengths of pre-trained models without any task-specific fine-tuning, our zero-shot framework significantly outperforms state-of-the-art supervised methods across multiple benchmarks and demonstrates robust generalization to real-world settings.