ChatPaper.aiChatPaper

Предложитель-Агент-Оценщик (ПАО): Автономное обнаружение навыков для агентов Интернет-моделей основы.

Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

December 17, 2024
Авторы: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li
cs.AI

Аннотация

Видение широко способного и целеполагающего агента, такого как агент для просмотра интернета в цифровом мире и домашний гуманоид в физическом мире, быстро продвигается вперед благодаря способности обобщения базовых моделей. Такой универсальный агент должен иметь большой и разнообразный набор навыков, таких как нахождение маршрутов между двумя точками путешествия и покупка определенных товаров в интернете. Если каждый навык должен быть указан вручную через фиксированный набор аннотированных человеком инструкций, то навыковый репертуар агента будет ограничен из-за количества и разнообразия аннотированных человеком инструкций. В данной работе мы решаем эту проблему, предлагая Proposer-Agent-Evaluator, эффективную систему обучения, которая позволяет агентам на базе базовых моделей автономно открывать и отрабатывать навыки в реальной среде. В центре PAE находится контекстно-ориентированный предложитель задач, который автономно предлагает задачи для практики агента с информацией о контексте окружения, такой как демонстрации пользователей или даже просто название веб-сайта для агентов для просмотра интернета. Затем политика агента пытается выполнить эти задачи с мыслями и реальными операциями в реальном мире с последующим оцениванием траекторий автономным оценщиком успеха на основе VLM. Оценка успеха служит сигналом вознаграждения для агента для уточнения своих политик через RL. Мы проверяем PAE на сложной видеонавигации по веб-страницам, используя как реальные, так и самостоятельно размещенные веб-сайты из WebVoyager и WebArena. На наш взгляд, данная работа представляет собой первую эффективную систему обучения, применяющую автономное предложение задач с RL для агентов, которые обобщают аннотированные человеком бенчмарки реального мира с лучшими показателями. Наши открытые контрольные точки и код можно найти по адресу https://yanqval.github.io/PAE/
English
The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent's skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/

Summary

AI-Generated Summary

PDF122December 18, 2024