MCP-Persona: 環境シミュレーションによる実世界の個人用アプリケーションにおけるLLMエージェントのベンチマーク評価

要旨

モデルコンテキストプロトコル（MCP）は、大規模言語モデル（LLM）を外部データソースやツールと接続するための変革的な標準として登場し、パーソナルアプリケーションや開発プラットフォームで急速に採用されています。しかし、既存のベンチマークは主に汎用的な情報検索ツールに焦点を当てており、ツールが個人アカウントやローカルデータベースとやり取りするパーソナルソーシャルアプリケーションがもたらす実際的な課題を捉えきれていません。この重要なギャップを埋めるため、我々は実世界のパーソナライズされたMCPツールにおけるエージェントの性能を評価するために特別に設計された最初のベンチマークであるMCP-Personaを紹介します。MCP-Personaは、RedditやXiaohongshu（Rednote）などのソーシャルメディアプラットフォームから、Lark（Feishu）やSlackなどのエンタープライズコラボレーションスイートに至るまで、多様で広く使用されているアプリケーションを網羅しています。様々な最先端（SOTA）エージェントに対する広範な実験により、パーソナライズされたツールの使用においてそれらが著しく困難を抱えていることが示され、これにより、これらの限界を特定し対処する上でのベンチマークの重要な役割が浮き彫りになりました。MCP-Personaはhttps://github.com/wwh0411/MCP-Personaで公開されています。

English

The Model Context Protocol (MCP) has emerged as a transformative standard for connecting large language models (LLMs) with external data sources and tools, and has been rapidly adopted across personal applications and development platforms. However, existing benchmarks predominantly focus on generic information-seeking tools and fail to capture the practical challenges posed by personal social applications, where tools interact with individual accounts or local databases. To bridge this critical gap, we introduce MCP-Persona, the first benchmark specifically designed for evaluating agent performance on real-world, personalized MCP tools. MCP-Persona encompasses a diverse set of widely-used applications, ranging from social media platforms like Reddit and Xiaohongshu (Rednote) to enterprise collaboration suites such as Lark (Feishu) and Slack. Our extensive experiments on various state-of-the-art (SOTA) agents demonstrate their significant struggles with personalized tool use, thereby highlighting the benchmark's crucial role in identifying and addressing these limitations. MCP-Persona is publicly available at https://github.com/wwh0411/MCP-Persona}{https://github.com/wwh0411/MCP-Persona.