AgentStore: Integração Escalável de Agentes Heterogêneos como Assistente de Computador Generalista Especializado

AgentStore: Scalable Integration of Heterogeneous Agents As Specialized Generalist Computer Assistant

October 24, 2024

Autores: Chengyou Jia, Minnan Luo, Zhuohang Dang, Qiushi Sun, Fangzhi Xu, Junlin Hu, Tianbao Xie, Zhiyong Wu

cs.AI

Resumo

Agentes digitais capazes de automatizar tarefas complexas em computadores têm atraído considerável atenção devido ao seu imenso potencial para aprimorar a interação humano-computador. No entanto, os métodos de agentes existentes apresentam deficiências em suas capacidades de generalização e especialização, especialmente no manuseio de tarefas de computador de natureza aberta em ambientes do mundo real. Inspirados na rica funcionalidade da App Store, apresentamos o AgentStore, uma plataforma escalável projetada para integrar dinamicamente agentes heterogêneos para automatizar tarefas de computador. O AgentStore capacita os usuários a integrar agentes de terceiros, permitindo que o sistema enriqueça continuamente suas capacidades e se adapte a sistemas operacionais em constante evolução. Além disso, propomos um novo MetaAgente central com a estratégia AgentToken para gerenciar eficientemente agentes diversos e utilizar suas habilidades especializadas e generalistas para tarefas específicas de domínio e em toda a extensão do sistema. Experimentos extensivos em três benchmarks desafiadores demonstram que o AgentStore supera as limitações de sistemas anteriores com capacidades restritas, alcançando particularmente uma melhoria significativa de 11,21% para 23,85% no benchmark OSWorld, mais que dobrando os resultados anteriores. Resultados quantitativos e qualitativos abrangentes demonstram ainda a capacidade do AgentStore de aprimorar sistemas de agentes tanto na generalização quanto na especialização, destacando seu potencial para desenvolver o assistente de computador generalista especializado. Todo o nosso código estará disponível publicamente em https://chengyou-jia.github.io/AgentStore-Home.

English

Digital agents capable of automating complex computer tasks have attracted considerable attention due to their immense potential to enhance human-computer interaction. However, existing agent methods exhibit deficiencies in their generalization and specialization capabilities, especially in handling open-ended computer tasks in real-world environments. Inspired by the rich functionality of the App store, we present AgentStore, a scalable platform designed to dynamically integrate heterogeneous agents for automating computer tasks. AgentStore empowers users to integrate third-party agents, allowing the system to continuously enrich its capabilities and adapt to rapidly evolving operating systems. Additionally, we propose a novel core MetaAgent with the AgentToken strategy to efficiently manage diverse agents and utilize their specialized and generalist abilities for both domain-specific and system-wide tasks. Extensive experiments on three challenging benchmarks demonstrate that AgentStore surpasses the limitations of previous systems with narrow capabilities, particularly achieving a significant improvement from 11.21\% to 23.85\% on the OSWorld benchmark, more than doubling the previous results. Comprehensive quantitative and qualitative results further demonstrate AgentStore's ability to enhance agent systems in both generalization and specialization, underscoring its potential for developing the specialized generalist computer assistant. All our codes will be made publicly available in https://chengyou-jia.github.io/AgentStore-Home.