MCP-Persona: Benchmarking von LLM-Agenten für reale persönliche Anwendungen mittels Umgebungssimulation

Zusammenfassung

Das Model Context Protocol (MCP) hat sich als transformierender Standard für die Verbindung großer Sprachmodelle (Large Language Models, LLMs) mit externen Datenquellen und Werkzeugen etabliert und wurde in persönlichen Anwendungen sowie auf Entwicklungsplattformen rasch übernommen. Allerdings konzentrieren sich vorhandene Benchmarks vorrangig auf generische informationssuchende Werkzeuge und erfassen nicht die praktischen Herausforderungen, die persönliche soziale Anwendungen mit sich bringen, bei denen Werkzeuge mit individuellen Konten oder lokalen Datenbanken interagieren. Um diese entscheidende Lücke zu schließen, führen wir MCP-Persona ein, den ersten Benchmark, der speziell für die Bewertung der Agentenleistung in realen, personalisierten MCP-Werkzeugen konzipiert ist. MCP-Persona umfasst eine vielfältige Auswahl weit verbreiteter Anwendungen, von Social-Media-Plattformen wie Reddit und Xiaohongshu (Rednote) bis hin zu Unternehmenskollaborations-Suiten wie Lark (Feishu) und Slack. Unsere umfangreichen Experimente mit verschiedenen hochmodernen (State-of-the-Art, SOTA) Agenten zeigen deren erhebliche Schwierigkeiten bei der Nutzung personalisierter Werkzeuge und unterstreichen damit die entscheidende Rolle des Benchmarks bei der Identifizierung und Behebung dieser Einschränkungen. MCP-Persona ist öffentlich verfügbar unter https://github.com/wwh0411/MCP-Persona.

English

The Model Context Protocol (MCP) has emerged as a transformative standard for connecting large language models (LLMs) with external data sources and tools, and has been rapidly adopted across personal applications and development platforms. However, existing benchmarks predominantly focus on generic information-seeking tools and fail to capture the practical challenges posed by personal social applications, where tools interact with individual accounts or local databases. To bridge this critical gap, we introduce MCP-Persona, the first benchmark specifically designed for evaluating agent performance on real-world, personalized MCP tools. MCP-Persona encompasses a diverse set of widely-used applications, ranging from social media platforms like Reddit and Xiaohongshu (Rednote) to enterprise collaboration suites such as Lark (Feishu) and Slack. Our extensive experiments on various state-of-the-art (SOTA) agents demonstrate their significant struggles with personalized tool use, thereby highlighting the benchmark's crucial role in identifying and addressing these limitations. MCP-Persona is publicly available at https://github.com/wwh0411/MCP-Persona}{https://github.com/wwh0411/MCP-Persona.