Vorschlags-Agent-Bewerter (PAB): Autonome Fähigkeitserkennung für Grundlagenmodell-Internetagenten

Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

December 17, 2024

Autoren: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li

cs.AI

Zusammenfassung

Die Vision eines breit fähigen und zielgerichteten Agenten, wie beispielsweise eines Internet-Browsing-Agenten in der digitalen Welt und eines humanoiden Haushaltsroboters in der physischen Welt, hat dank der Generalisierungsfähigkeit von Grundlagenmodellen rasante Fortschritte gemacht. Ein solcher Generalist-Agent muss über ein großes und vielfältiges Fähigkeitenrepertoire verfügen, wie beispielsweise das Finden von Wegbeschreibungen zwischen zwei Reisezielen und den Kauf spezifischer Artikel im Internet. Wenn jede Fähigkeit manuell durch einen festen Satz von menschlich annotierten Anweisungen spezifiziert werden muss, wird das Fähigkeitenrepertoire des Agenten aufgrund der Menge und Vielfalt der menschlich annotierten Anweisungen zwangsläufig begrenzt sein. In dieser Arbeit gehen wir diese Herausforderung an, indem wir den Proposer-Agent-Evaluator vorschlagen, ein effektives Lernsystem, das es Grundlagenmodell-Agenten ermöglicht, Fähigkeiten eigenständig in der Wildnis zu entdecken und zu trainieren. Im Zentrum von PAE steht ein kontextbewusster Aufgabensteller, der eigenständig Aufgaben vorschlägt, die der Agent mit Kontextinformationen der Umgebung wie Benutzerdemonstrationen oder sogar nur dem Namen der Website selbst für Internet-Browsing-Agenten üben soll. Anschließend versucht die Agentenrichtlinie diese Aufgaben mit Gedanken und tatsächlichen Operationen in der realen Welt, wobei die resultierenden Trajektorien von einem autonomen VLM-basierten Erfolgsevaluator bewertet werden. Die Erfolgsbewertung dient als Belohnungssignal für den Agenten, um seine Richtlinien durch RL zu verfeinern. Wir validieren PAE anhand einer anspruchsvollen visionbasierten Webnavigation, unter Verwendung von sowohl realen als auch selbstgehosteten Websites von WebVoyager und WebArena. Unseres Wissens nach stellt diese Arbeit das erste effektive Lernsystem dar, das autonome Aufgabenvorschläge mit RL für Agenten anwendet, die reale menschlich annotierte Benchmarks mit SOTA-Leistungen generalisieren. Unsere Open-Source-Checkpoints und der Code sind unter https://yanqval.github.io/PAE/ verfügbar.

English

The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent's skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/