Voorsteller-Agent-Beoordelaar (PAB): Autonome Vaardigheidsontdekking voor Fundamenteel Model Internetagenten

Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

December 17, 2024

Auteurs: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li

cs.AI

Samenvatting

De visie van een breed capabele en doelgerichte agent, zoals een internetbrowser-agent in de digitale wereld en een huishoudelijke humanoïde in de fysieke wereld, is snel vooruitgegaan, dankzij de generalisatiecapaciteit van foundation modellen. Zo'n generalistische agent moet beschikken over een grote en diverse vaardighedenrepertoire, zoals het vinden van routebeschrijvingen tussen twee reislocaties en het kopen van specifieke items van het internet. Als elke vaardigheid handmatig moet worden gespecificeerd via een vastgestelde reeks door mensen geannoteerde instructies, zal het vaardighedenrepertoire van de agent noodzakelijkerwijs beperkt zijn vanwege de hoeveelheid en diversiteit van door mensen geannoteerde instructies. In dit werk pakken we deze uitdaging aan door Proposer-Agent-Evaluator voor te stellen, een effectief leersysteem dat foundation model agents in staat stelt om autonoom vaardigheden te ontdekken en te oefenen in het wild. In het hart van PAE bevindt zich een contextbewuste taakvoorsteller die autonoom taken voorstelt voor de agent om te oefenen met contextinformatie van de omgeving, zoals gebruikersdemo's of zelfs alleen de naam van de website zelf voor internetbrowser-agents. Vervolgens probeert het agentbeleid die taken met gedachten en daadwerkelijke grondoperaties in de echte wereld met resulterende trajecten geëvalueerd door een autonome VLM-gebaseerde succesbeoordelaar. De succesbeoordeling dient als beloningssignaal voor de agent om zijn beleid te verfijnen via RL. We valideren PAE op uitdagende visie-gebaseerde webnavigatie, met behulp van zowel echte wereld als zelf-gehoste websites van WebVoyager en WebArena. Voor zover wij weten, vertegenwoordigt dit werk het eerste effectieve leersysteem dat autonome taakvoorstelling toepast met RL voor agents die real-world door mensen geannoteerde benchmarks generaliseren met SOTA-prestaties. Onze open-source checkpoints en code zijn te vinden op https://yanqval.github.io/PAE/

English

The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent's skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/