MCP-Persona: Evaluación comparativa de agentes LLM en aplicaciones personales del mundo real mediante simulación de entornos

Resumen

El Model Context Protocol (MCP) ha emergido como un estándar transformador para conectar modelos de lenguaje de gran escala (LLMs) con fuentes de datos y herramientas externas, y ha sido rápidamente adoptado en aplicaciones personales y plataformas de desarrollo. Sin embargo, los benchmarks existentes se centran predominantemente en herramientas genéricas de búsqueda de información y no logran capturar los desafíos prácticos que presentan las aplicaciones sociales personales, donde las herramientas interactúan con cuentas individuales o bases de datos locales. Para cerrar esta brecha crítica, presentamos MCP-Persona, el primer benchmark diseñado específicamente para evaluar el rendimiento de agentes en herramientas MCP personalizadas del mundo real. MCP-Persona abarca un conjunto diverso de aplicaciones ampliamente utilizadas, que van desde plataformas de redes sociales como Reddit y Xiaohongshu (Rednote) hasta suites de colaboración empresarial como Lark (Feishu) y Slack. Nuestros extensos experimentos con diversos agentes de última generación (SOTA) demuestran sus dificultades significativas con el uso de herramientas personalizadas, resaltando así el papel crucial del benchmark para identificar y abordar estas limitaciones. MCP-Persona está disponible públicamente en https://github.com/wwh0411/MCP-Persona.

English

The Model Context Protocol (MCP) has emerged as a transformative standard for connecting large language models (LLMs) with external data sources and tools, and has been rapidly adopted across personal applications and development platforms. However, existing benchmarks predominantly focus on generic information-seeking tools and fail to capture the practical challenges posed by personal social applications, where tools interact with individual accounts or local databases. To bridge this critical gap, we introduce MCP-Persona, the first benchmark specifically designed for evaluating agent performance on real-world, personalized MCP tools. MCP-Persona encompasses a diverse set of widely-used applications, ranging from social media platforms like Reddit and Xiaohongshu (Rednote) to enterprise collaboration suites such as Lark (Feishu) and Slack. Our extensive experiments on various state-of-the-art (SOTA) agents demonstrate their significant struggles with personalized tool use, thereby highlighting the benchmark's crucial role in identifying and addressing these limitations. MCP-Persona is publicly available at https://github.com/wwh0411/MCP-Persona}{https://github.com/wwh0411/MCP-Persona.