Propositor-Agente-Evaluador (PAE): Descubrimiento Autónomo de Habilidades para Agentes de Internet Modelo Fundacionales

Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

December 17, 2024

Autores: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li

cs.AI

Resumen

La visión de un agente ampliamente capaz y dirigido por objetivos, como un agente de navegación en Internet en el mundo digital y un humanoide doméstico en el mundo físico, ha avanzado rápidamente, gracias a la capacidad de generalización de los modelos base. Un agente generalista de este tipo necesita tener un repertorio de habilidades amplio y diverso, como encontrar direcciones entre dos ubicaciones de viaje y comprar artículos específicos en Internet. Si cada habilidad debe ser especificada manualmente a través de un conjunto fijo de instrucciones anotadas por humanos, el repertorio de habilidades del agente será necesariamente limitado debido a la cantidad y diversidad de instrucciones anotadas por humanos. En este trabajo, abordamos este desafío proponiendo Proposer-Agent-Evaluator, un sistema de aprendizaje efectivo que permite a los agentes de modelos base descubrir y practicar habilidades de forma autónoma en entornos no controlados. En el núcleo de PAE se encuentra un proponente de tareas consciente del contexto que propone tareas de forma autónoma para que el agente practique con información de contexto del entorno, como demostraciones de usuario o incluso solo el nombre del sitio web para agentes de navegación en Internet. Luego, la política del agente intenta realizar esas tareas con pensamientos y operaciones concretas en el mundo real, con trayectorias resultantes evaluadas por un evaluador de éxito basado en VLM autónomo. La evaluación del éxito sirve como señal de recompensa para que el agente perfeccione sus políticas a través de RL. Validamos PAE en una navegación web basada en visión desafiante, utilizando sitios web del mundo real y autohospedados de WebVoyager y WebArena. Hasta donde sabemos, este trabajo representa el primer sistema de aprendizaje efectivo que aplica propuesta autónoma de tareas con RL para agentes que generalizan referencias anotadas por humanos del mundo real con rendimientos de última generación. Nuestros puntos de control y código de código abierto se pueden encontrar en https://yanqval.github.io/PAE/

English

The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent's skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/