MCP-Persona : Benchmarking des agents LLM sur des applications personnelles réelles via la simulation d'environnement

Résumé

Le Model Context Protocol (MCP) s'impose comme un standard transformateur pour connecter les grands modèles de langage (LLM) avec des sources de données et outils externes, et a été rapidement adopté dans les applications personnelles et les plateformes de développement. Cependant, les référentiels existants se concentrent principalement sur des outils génériques de recherche d'informations et ne parviennent pas à capturer les défis pratiques posés par les applications sociales personnelles, où les outils interagissent avec des comptes individuels ou des bases de données locales. Pour combler cet écart critique, nous présentons MCP-Persona, le premier référentiel spécifiquement conçu pour évaluer les performances des agents sur des outils MCP personnalisés et réels. MCP-Persona englobe un ensemble diversifié d'applications largement utilisées, allant des plateformes de médias sociaux comme Reddit et Xiaohongshu (Rednote) aux suites de collaboration d'entreprise telles que Lark (Feishu) et Slack. Nos expériences approfondies sur divers agents de pointe (SOTA) montrent leurs difficultés significatives avec l'utilisation personnalisée d'outils, soulignant ainsi le rôle crucial du référentiel dans l'identification et le traitement de ces limitations. MCP-Persona est accessible publiquement à l'adresse https://github.com/wwh0411/MCP-Persona.

English

The Model Context Protocol (MCP) has emerged as a transformative standard for connecting large language models (LLMs) with external data sources and tools, and has been rapidly adopted across personal applications and development platforms. However, existing benchmarks predominantly focus on generic information-seeking tools and fail to capture the practical challenges posed by personal social applications, where tools interact with individual accounts or local databases. To bridge this critical gap, we introduce MCP-Persona, the first benchmark specifically designed for evaluating agent performance on real-world, personalized MCP tools. MCP-Persona encompasses a diverse set of widely-used applications, ranging from social media platforms like Reddit and Xiaohongshu (Rednote) to enterprise collaboration suites such as Lark (Feishu) and Slack. Our extensive experiments on various state-of-the-art (SOTA) agents demonstrate their significant struggles with personalized tool use, thereby highlighting the benchmark's crucial role in identifying and addressing these limitations. MCP-Persona is publicly available at https://github.com/wwh0411/MCP-Persona}{https://github.com/wwh0411/MCP-Persona.