AgentStore: Масштабируемая интеграция гетерогенных агентов как специализированных универсальных компьютерных помощников

AgentStore: Scalable Integration of Heterogeneous Agents As Specialized Generalist Computer Assistant

October 24, 2024

Авторы: Chengyou Jia, Minnan Luo, Zhuohang Dang, Qiushi Sun, Fangzhi Xu, Junlin Hu, Tianbao Xie, Zhiyong Wu

cs.AI

Аннотация

Цифровые агенты, способные автоматизировать сложные компьютерные задачи, привлекли значительное внимание благодаря своему огромному потенциалу улучшения взаимодействия человека с компьютером. Однако существующие методы агентов проявляют недостатки в их способностях к обобщению и специализации, особенно в обработке открытых компьютерных задач в реальных средах. Вдохновленные богатым функционалом App Store, мы представляем AgentStore, масштабируемую платформу, разработанную для динамической интеграции гетерогенных агентов для автоматизации компьютерных задач. AgentStore дает пользователям возможность интегрировать агентов сторонних разработчиков, позволяя системе непрерывно обогащать свои возможности и адаптироваться к быстро меняющимся операционным системам. Кроме того, мы предлагаем новый ядро MetaAgent с стратегией AgentToken для эффективного управления разнообразными агентами и использования их специализированных и обобщенных способностей как для задач, специфичных для области, так и для системных задач. Обширные эксперименты на трех сложных бенчмарках показывают, что AgentStore превосходит ограничения предыдущих систем с узкими возможностями, особенно достигая значительного улучшения с 11,21\% до 23,85\% на бенчмарке OSWorld, более чем вдвое превышая предыдущие результаты. Обширные количественные и качественные результаты дополнительно демонстрируют способность AgentStore улучшать агентские системы как в обобщении, так и в специализации, подчеркивая его потенциал для развития специализированного обобщенного компьютерного ассистента. Весь наш код будет общедоступен по адресу https://chengyou-jia.github.io/AgentStore-Home.

English

Digital agents capable of automating complex computer tasks have attracted considerable attention due to their immense potential to enhance human-computer interaction. However, existing agent methods exhibit deficiencies in their generalization and specialization capabilities, especially in handling open-ended computer tasks in real-world environments. Inspired by the rich functionality of the App store, we present AgentStore, a scalable platform designed to dynamically integrate heterogeneous agents for automating computer tasks. AgentStore empowers users to integrate third-party agents, allowing the system to continuously enrich its capabilities and adapt to rapidly evolving operating systems. Additionally, we propose a novel core MetaAgent with the AgentToken strategy to efficiently manage diverse agents and utilize their specialized and generalist abilities for both domain-specific and system-wide tasks. Extensive experiments on three challenging benchmarks demonstrate that AgentStore surpasses the limitations of previous systems with narrow capabilities, particularly achieving a significant improvement from 11.21\% to 23.85\% on the OSWorld benchmark, more than doubling the previous results. Comprehensive quantitative and qualitative results further demonstrate AgentStore's ability to enhance agent systems in both generalization and specialization, underscoring its potential for developing the specialized generalist computer assistant. All our codes will be made publicly available in https://chengyou-jia.github.io/AgentStore-Home.