MCP-Persona: Бенчмаркинг LLM-агентов на реальных персональных приложениях с помощью симуляции среды

Аннотация

Протокол контекста модели (MCP) стал преобразующим стандартом для подключения больших языковых моделей (LLM) к внешним источникам данных и инструментам, и получил быстрое распространение в персональных приложениях и платформах разработки. Однако существующие бенчмарки в основном сосредоточены на универсальных инструментах поиска информации и не учитывают практические трудности, возникающие в персональных социальных приложениях, где инструменты взаимодействуют с индивидуальными учетными записями или локальными базами данных. Чтобы восполнить этот критический пробел, мы представляем MCP-Persona — первый бенчмарк, специально разработанный для оценки производительности агентов на реальных, персонализированных инструментах MCP. MCP-Persona охватывает разнообразный набор широко используемых приложений, от социальных медиаплатформ, таких как Reddit и Xiaohongshu (Rednote), до корпоративных пакетов совместной работы, таких как Lark (Feishu) и Slack. Наши обширные эксперименты с различными передовыми (SOTA) агентами демонстрируют их существенные трудности при использовании персонализированных инструментов, тем самым подчеркивая решающую роль бенчмарка в выявлении и устранении этих ограничений. MCP-Persona находится в открытом доступе по адресу: https://github.com/wwh0411/MCP-Persona.

English

The Model Context Protocol (MCP) has emerged as a transformative standard for connecting large language models (LLMs) with external data sources and tools, and has been rapidly adopted across personal applications and development platforms. However, existing benchmarks predominantly focus on generic information-seeking tools and fail to capture the practical challenges posed by personal social applications, where tools interact with individual accounts or local databases. To bridge this critical gap, we introduce MCP-Persona, the first benchmark specifically designed for evaluating agent performance on real-world, personalized MCP tools. MCP-Persona encompasses a diverse set of widely-used applications, ranging from social media platforms like Reddit and Xiaohongshu (Rednote) to enterprise collaboration suites such as Lark (Feishu) and Slack. Our extensive experiments on various state-of-the-art (SOTA) agents demonstrate their significant struggles with personalized tool use, thereby highlighting the benchmark's crucial role in identifying and addressing these limitations. MCP-Persona is publicly available at https://github.com/wwh0411/MCP-Persona}{https://github.com/wwh0411/MCP-Persona.