WebArena: Un Entorno Web Realista para la Construcción de Agentes Autónomos

WebArena: A Realistic Web Environment for Building Autonomous Agents

July 25, 2023

Autores: Shuyan Zhou, Frank F. Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Yonatan Bisk, Daniel Fried, Uri Alon, Graham Neubig

cs.AI

Resumen

Con los avances en IA generativa, ha surgido el emocionante potencial de que los agentes autónomos gestionen tareas cotidianas mediante comandos en lenguaje natural. Sin embargo, los agentes actuales se crean y prueban principalmente en entornos sintéticos simplificados, lo que limita sustancialmente la representación de escenarios del mundo real. En este artículo, construimos un entorno para el comando y control de agentes que es altamente realista y reproducible. Específicamente, nos enfocamos en agentes que realizan tareas en sitios web, y creamos un entorno con sitios web completamente funcionales de cuatro dominios comunes: comercio electrónico, discusiones en foros sociales, desarrollo colaborativo de software y gestión de contenido. Nuestro entorno está enriquecido con herramientas (por ejemplo, un mapa) y bases de conocimiento externas (por ejemplo, manuales de usuario) para fomentar la resolución de tareas de manera similar a la humana. Basándonos en nuestro entorno, publicamos un conjunto de tareas de referencia centradas en evaluar la corrección funcional de la finalización de tareas. Las tareas en nuestro benchmark son diversas, de largo alcance y están diseñadas para emular tareas que los humanos realizan habitualmente en Internet. Diseñamos e implementamos varios agentes autónomos, integrando técnicas recientes como el razonamiento antes de actuar. Los resultados demuestran que resolver tareas complejas es un desafío: nuestro mejor agente basado en GPT-4 solo alcanza una tasa de éxito de tareas de extremo a extremo del 10.59%. Estos resultados resaltan la necesidad de un mayor desarrollo de agentes robustos, que los modelos de lenguaje de última generación están lejos de un rendimiento perfecto en estas tareas de la vida real, y que WebArena puede usarse para medir dicho progreso. Nuestro código, datos, recursos para la reproducción del entorno y demostraciones en video están disponibles públicamente en https://webarena.dev/.

English

With generative AI advances, the exciting potential for autonomous agents to manage daily tasks via natural language commands has emerged. However, cur rent agents are primarily created and tested in simplified synthetic environments, substantially limiting real-world scenario representation. In this paper, we build an environment for agent command and control that is highly realistic and reproducible. Specifically, we focus on agents that perform tasks on websites, and we create an environment with fully functional websites from four common domains: e-commerce, social forum discussions, collaborative software development, and content management. Our environment is enriched with tools (e.g., a map) and external knowledge bases (e.g., user manuals) to encourage human-like task-solving. Building upon our environment, we release a set of benchmark tasks focusing on evaluating the functional correctness of task completions. The tasks in our benchmark are diverse, long-horizon, and are designed to emulate tasks that humans routinely perform on the internet. We design and implement several autonomous agents, integrating recent techniques such as reasoning before acting. The results demonstrate that solving complex tasks is challenging: our best GPT-4-based agent only achieves an end-to-end task success rate of 10.59%. These results highlight the need for further development of robust agents, that current state-of-the-art LMs are far from perfect performance in these real-life tasks, and that WebArena can be used to measure such progress. Our code, data, environment reproduction resources, and video demonstrations are publicly available at https://webarena.dev/.