MCP-Persona: Avaliação Comparativa de Agentes LLM em Aplicações Pessoais do Mundo Real por Meio de Simulação de Ambiente

Resumo

O Protocolo de Contexto de Modelo (MCP) emergiu como um padrão transformador para conectar grandes modelos de linguagem (LLMs) a fontes de dados e ferramentas externas, e tem sido rapidamente adotado em aplicações pessoais e plataformas de desenvolvimento. No entanto, os benchmarks existentes focam predominantemente em ferramentas genéricas de busca de informações e não capturam os desafios práticos impostos por aplicações sociais pessoais, onde as ferramentas interagem com contas individuais ou bancos de dados locais. Para preencher essa lacuna crítica, introduzimos o MCP-Persona, o primeiro benchmark especificamente projetado para avaliar o desempenho de agentes em ferramentas MCP personalizadas do mundo real. O MCP-Persona abrange um conjunto diversificado de aplicações amplamente utilizadas, desde plataformas de mídia social como Reddit e Xiaohongshu (Rednote) até suítes de colaboração empresarial como Lark (Feishu) e Slack. Nossos extensos experimentos com vários agentes de estado da arte (SOTA) demonstram suas dificuldades significativas com o uso de ferramentas personalizadas, destacando assim o papel crucial do benchmark em identificar e abordar essas limitações. O MCP-Persona está disponível publicamente em https://github.com/wwh0411/MCP-Persona.

English

The Model Context Protocol (MCP) has emerged as a transformative standard for connecting large language models (LLMs) with external data sources and tools, and has been rapidly adopted across personal applications and development platforms. However, existing benchmarks predominantly focus on generic information-seeking tools and fail to capture the practical challenges posed by personal social applications, where tools interact with individual accounts or local databases. To bridge this critical gap, we introduce MCP-Persona, the first benchmark specifically designed for evaluating agent performance on real-world, personalized MCP tools. MCP-Persona encompasses a diverse set of widely-used applications, ranging from social media platforms like Reddit and Xiaohongshu (Rednote) to enterprise collaboration suites such as Lark (Feishu) and Slack. Our extensive experiments on various state-of-the-art (SOTA) agents demonstrate their significant struggles with personalized tool use, thereby highlighting the benchmark's crucial role in identifying and addressing these limitations. MCP-Persona is publicly available at https://github.com/wwh0411/MCP-Persona}{https://github.com/wwh0411/MCP-Persona.