Propositore-Agente-Valutatore (PAV): Scoperta Autonoma delle Abilità per Agenti Internet Modello Fondamentale

Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

December 17, 2024

Autori: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li

cs.AI

Abstract

La visione di un agente ampiamente capace e orientato agli obiettivi, come ad esempio un agente di navigazione su Internet nel mondo digitale e un umanoide domestico nel mondo fisico, ha fatto rapidi progressi, grazie alla capacità di generalizzazione dei modelli di base. Un agente generalista di questo tipo deve avere un vasto e diversificato repertorio di abilità, come ad esempio trovare indicazioni tra due luoghi di viaggio e acquistare articoli specifici su Internet. Se ogni abilità deve essere specificata manualmente attraverso un insieme fisso di istruzioni annotate dall'uomo, il repertorio di abilità dell'agente sarà necessariamente limitato a causa della quantità e della diversità delle istruzioni annotate dall'uomo. In questo lavoro, affrontiamo questa sfida proponendo Proposer-Agent-Evaluator, un efficace sistema di apprendimento che consente agli agenti dei modelli di base di scoprire e praticare autonomamente abilità in ambienti reali. Al cuore di PAE c'è un proposer di compiti consapevole del contesto che propone autonomamente compiti per l'agente da praticare con informazioni di contesto dell'ambiente come dimostrazioni dell'utente o anche solo il nome del sito web stesso per gli agenti di navigazione su Internet. Successivamente, la politica dell'agente tenta tali compiti con pensieri e operazioni concrete nel mondo reale, con le traiettorie risultanti valutate da un valutatore di successo basato su VLM autonomo. La valutazione del successo funge da segnale di ricompensa per l'agente per perfezionare le proprie politiche attraverso RL. Convalidiamo PAE nella navigazione web basata sulla visione, utilizzando sia siti web del mondo reale che auto-ospitati da WebVoyager e WebArena. Per quanto ne sappiamo, questo lavoro rappresenta il primo sistema di apprendimento efficace per applicare proposte di compiti autonome con RL per agenti che generalizzano benchmark annotati dall'uomo nel mondo reale con prestazioni all'avanguardia. I nostri checkpoint e il codice open-source possono essere trovati su https://yanqval.github.io/PAE/

English

The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent's skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/