WebArena: 自律エージェント構築のための現実的なウェブ環境

WebArena: A Realistic Web Environment for Building Autonomous Agents

July 25, 2023

著者: Shuyan Zhou, Frank F. Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Yonatan Bisk, Daniel Fried, Uri Alon, Graham Neubig

cs.AI

要旨

生成AIの進化に伴い、自然言語コマンドを通じて日常タスクを管理する自律エージェントの可能性が注目を集めています。しかし、現在のエージェントは主に簡素化された合成環境で作成・テストされており、現実世界のシナリオを十分に反映できていません。本論文では、高度に現実的で再現性のあるエージェントのコマンド＆コントロール環境を構築します。具体的には、ウェブサイト上でタスクを実行するエージェントに焦点を当て、eコマース、ソーシャルフォーラムディスカッション、共同ソフトウェア開発、コンテンツ管理という4つの一般的なドメインからなる完全に機能するウェブサイト環境を作成しました。この環境は、地図などのツールやユーザーマニュアルなどの外部知識ベースを備えており、人間らしいタスク解決を促進します。この環境を基盤として、タスク完了の機能的正しさを評価するためのベンチマークタスクセットを公開しました。ベンチマークのタスクは多様で長期的な視野を持ち、人間がインターネット上で日常的に行うタスクを模倣するように設計されています。私たちは、行動前に推論を行うなど最新の技術を統合した複数の自律エージェントを設計・実装しました。その結果、複雑なタスクを解決することの難しさが明らかになりました。GPT-4ベースの最良のエージェントでも、エンドツーエンドのタスク成功率はわずか10.59%でした。これらの結果は、堅牢なエージェントのさらなる開発の必要性、現在の最先端言語モデルがこれらの現実世界タスクにおいて完璧な性能から程遠いこと、そしてWebArenaがそのような進歩を測定するために使用できることを示しています。私たちのコード、データ、環境再現リソース、およびビデオデモンストレーションはhttps://webarena.dev/で公開されています。

English

With generative AI advances, the exciting potential for autonomous agents to manage daily tasks via natural language commands has emerged. However, cur rent agents are primarily created and tested in simplified synthetic environments, substantially limiting real-world scenario representation. In this paper, we build an environment for agent command and control that is highly realistic and reproducible. Specifically, we focus on agents that perform tasks on websites, and we create an environment with fully functional websites from four common domains: e-commerce, social forum discussions, collaborative software development, and content management. Our environment is enriched with tools (e.g., a map) and external knowledge bases (e.g., user manuals) to encourage human-like task-solving. Building upon our environment, we release a set of benchmark tasks focusing on evaluating the functional correctness of task completions. The tasks in our benchmark are diverse, long-horizon, and are designed to emulate tasks that humans routinely perform on the internet. We design and implement several autonomous agents, integrating recent techniques such as reasoning before acting. The results demonstrate that solving complex tasks is challenging: our best GPT-4-based agent only achieves an end-to-end task success rate of 10.59%. These results highlight the need for further development of robust agents, that current state-of-the-art LMs are far from perfect performance in these real-life tasks, and that WebArena can be used to measure such progress. Our code, data, environment reproduction resources, and video demonstrations are publicly available at https://webarena.dev/.