AgentStore: Integración Escalable de Agentes Heterogéneos como Asistentes Computacionales Especializados Generalistas

AgentStore: Scalable Integration of Heterogeneous Agents As Specialized Generalist Computer Assistant

October 24, 2024

Autores: Chengyou Jia, Minnan Luo, Zhuohang Dang, Qiushi Sun, Fangzhi Xu, Junlin Hu, Tianbao Xie, Zhiyong Wu

cs.AI

Resumen

Los agentes digitales capaces de automatizar tareas informáticas complejas han atraído considerable atención debido a su inmenso potencial para mejorar la interacción humano-computadora. Sin embargo, los métodos de agentes existentes presentan deficiencias en sus capacidades de generalización y especialización, especialmente en el manejo de tareas informáticas de final abierto en entornos del mundo real. Inspirados en la rica funcionalidad de la tienda de aplicaciones, presentamos AgentStore, una plataforma escalable diseñada para integrar dinámicamente agentes heterogéneos para automatizar tareas informáticas. AgentStore capacita a los usuarios para integrar agentes de terceros, permitiendo que el sistema enriquezca continuamente sus capacidades y se adapte a sistemas operativos en evolución rápida. Además, proponemos un núcleo novedoso, MetaAgente, con la estrategia AgentToken para gestionar eficientemente diversos agentes y utilizar sus habilidades especializadas y generalistas tanto para tareas específicas de dominio como para tareas a nivel de sistema. Experimentos extensos en tres desafiantes benchmarks demuestran que AgentStore supera las limitaciones de sistemas anteriores con capacidades limitadas, logrando particularmente una mejora significativa del 11.21\% al 23.85% en el benchmark OSWorld, más que duplicando los resultados previos. Resultados cuantitativos y cualitativos exhaustivos demuestran además la capacidad de AgentStore para mejorar sistemas de agentes tanto en generalización como en especialización, subrayando su potencial para desarrollar un asistente informático generalista especializado. Todos nuestros códigos estarán disponibles públicamente en https://chengyou-jia.github.io/AgentStore-Home.

English

Digital agents capable of automating complex computer tasks have attracted considerable attention due to their immense potential to enhance human-computer interaction. However, existing agent methods exhibit deficiencies in their generalization and specialization capabilities, especially in handling open-ended computer tasks in real-world environments. Inspired by the rich functionality of the App store, we present AgentStore, a scalable platform designed to dynamically integrate heterogeneous agents for automating computer tasks. AgentStore empowers users to integrate third-party agents, allowing the system to continuously enrich its capabilities and adapt to rapidly evolving operating systems. Additionally, we propose a novel core MetaAgent with the AgentToken strategy to efficiently manage diverse agents and utilize their specialized and generalist abilities for both domain-specific and system-wide tasks. Extensive experiments on three challenging benchmarks demonstrate that AgentStore surpasses the limitations of previous systems with narrow capabilities, particularly achieving a significant improvement from 11.21\% to 23.85\% on the OSWorld benchmark, more than doubling the previous results. Comprehensive quantitative and qualitative results further demonstrate AgentStore's ability to enhance agent systems in both generalization and specialization, underscoring its potential for developing the specialized generalist computer assistant. All our codes will be made publicly available in https://chengyou-jia.github.io/AgentStore-Home.