MCP-Persona: Het benchmarken van LLM-agenten voor realistische persoonlijke toepassingen via omgevingssimulatie

Samenvatting

Het Model Context Protocol (MCP) is uitgegroeid tot een transformerende standaard voor het verbinden van grote taalmodellen (LLM's) met externe gegevensbronnen en tools, en wordt snel overgenomen in zowel persoonlijke toepassingen als ontwikkelplatforms. Bestaande benchmarks richten zich echter voornamelijk op algemene informatiezoekende tools en slagen er niet in de praktische uitdagingen van persoonlijke sociale toepassingen te vangen, waar tools interageren met individuele accounts of lokale databases. Om deze cruciale kloof te overbruggen, introduceren wij MCP-Persona, de eerste benchmark die specifiek is ontworpen voor het evalueren van agentprestaties op realistische, gepersonaliseerde MCP-tools. MCP-Persona omvat een diverse set van veelgebruikte toepassingen, variërend van socialemediaplatforms zoals Reddit en Xiaohongshu (Rednote) tot enterprise collaboratiesuites zoals Lark (Feishu) en Slack. Onze uitgebreide experimenten met verschillende state-of-the-art (SOTA) agenten tonen aan dat zij aanzienlijk worstelen met gepersonaliseerd toolgebruik, wat het cruciale belang van de benchmark benadrukt bij het identificeren en aanpakken van deze beperkingen. MCP-Persona is openbaar beschikbaar op https://github.com/wwh0411/MCP-Persona.

English

The Model Context Protocol (MCP) has emerged as a transformative standard for connecting large language models (LLMs) with external data sources and tools, and has been rapidly adopted across personal applications and development platforms. However, existing benchmarks predominantly focus on generic information-seeking tools and fail to capture the practical challenges posed by personal social applications, where tools interact with individual accounts or local databases. To bridge this critical gap, we introduce MCP-Persona, the first benchmark specifically designed for evaluating agent performance on real-world, personalized MCP tools. MCP-Persona encompasses a diverse set of widely-used applications, ranging from social media platforms like Reddit and Xiaohongshu (Rednote) to enterprise collaboration suites such as Lark (Feishu) and Slack. Our extensive experiments on various state-of-the-art (SOTA) agents demonstrate their significant struggles with personalized tool use, thereby highlighting the benchmark's crucial role in identifying and addressing these limitations. MCP-Persona is publicly available at https://github.com/wwh0411/MCP-Persona}{https://github.com/wwh0411/MCP-Persona.