Proposant-Agent-Évaluateur (PAE) : Découverte autonome des compétences pour les agents Internet de modèle de base

Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

December 17, 2024

Auteurs: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li

cs.AI

Résumé

La vision d'un agent largement capable et dirigé vers un objectif, tel qu'un agent de navigation Internet dans le monde numérique et un humanoïde domestique dans le monde physique, a progressé rapidement, grâce à la capacité de généralisation des modèles de base. Un tel agent généraliste doit disposer d'un répertoire de compétences vaste et diversifié, tel que la recherche d'itinéraires entre deux lieux de voyage et l'achat d'articles spécifiques sur Internet. Si chaque compétence doit être spécifiée manuellement à travers un ensemble fixe d'instructions annotées par des humains, le répertoire de compétences de l'agent sera nécessairement limité en raison de la quantité et de la diversité des instructions annotées par des humains. Dans ce travail, nous relevons ce défi en proposant Proposer-Agent-Evaluateur, un système d'apprentissage efficace qui permet aux agents de modèles de base de découvrir et de pratiquer autonomement des compétences dans la nature. Au cœur de PAE se trouve un proposant de tâches conscient du contexte qui propose automatiquement des tâches à l'agent à pratiquer avec des informations de contexte de l'environnement telles que des démonstrations d'utilisateurs ou même juste le nom du site Web lui-même pour les agents de navigation Internet. Ensuite, la politique de l'agent tente ces tâches avec des réflexions et des opérations concrètes dans le monde réel avec des trajectoires résultantes évaluées par un évaluateur de succès basé sur VLM autonome. L'évaluation du succès sert de signal de récompense pour l'agent afin de peaufiner ses politiques à travers l'apprentissage par renforcement. Nous validons PAE sur une navigation web basée sur la vision, en utilisant à la fois des sites Web du monde réel et auto-hébergés de WebVoyager et WebArena. À notre connaissance, ce travail représente le premier système d'apprentissage efficace à appliquer une proposition de tâches autonome avec RL pour des agents qui généralisent des références annotées par des humains du monde réel avec des performances de pointe. Nos points de contrôle et code open-source peuvent être trouvés sur https://yanqval.github.io/PAE/

English

The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent's skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/