SPIEval: 散在する個人情報に対するモバイルアシスタントとしての大規模言語モデルの評価

要旨

大規模言語モデル（LLM）はモバイルアシスタントとしてますます導入されており、そこでの重要な課題は、複数のアプリケーション（アプリ）に散在する個人情報を活用してユーザーの指示を遂行することである。しかし、専用のベンチマークが不足しているため、その能力は十分に解明されていない。このギャップに対処するため、我々は5つの認知能力（すなわち、推論、曖昧性解消、統合、選好推論、複数意図の分解）に基づく人手でキュレーションされたベンチマークSPIEvalを導入する。SPIEvalは、10個のアプリにわたって分散された4,335件の個人記録にまたがる250のタスクで構成され、21個のツールを通じたマルチターン対話をサポートする。分析により、このベンチマークは多様なシナリオ、困難なタスク、散在する情報、制御可能な環境、検証可能な結果を示すことが明らかになった。我々は9つの代表的なLLMを評価し、改善の余地が大きいことを見いだした。最良の性能を示したモデルGPT-5.5（xhigh）は57.3%の精度しか達成できず、最弱のモデルはわずか16.4%であった。さらなる分析により、失敗の79%は不正確な情報の特定に起因することが明らかになった。LLMは検証のための検索を続ける代わりに、もっともらしいが誤った情報に固執することが多いためである。また、検索操作のうち高度な検索手法を用いるものは2%未満であり、モデル間で検索効率に大きなばらつきがあることも観察された。これらの知見は、現在のLLMベースのモバイルアシスタントの根本的な限界を浮き彫りにし、この方向での今後の研究を動機付ける。データとコードはhttps://huggingface.co/datasets/Junjie-Ye/SPIEvalで公開されている。

English

Large language models (LLMs) are increasingly deployed as mobile assistants, where a key challenge is leveraging personal information scattered across multiple applications (apps) to complete user instructions. However, due to the lack of dedicated benchmarks, their capabilities remain poorly understood. To address this gap, we introduce SPIEval, a human-curated benchmark grounded in five cognitive capabilities (i.e., reasoning, disambiguation, integration, preference inference, and multi-intent decomposition). SPIEval comprises 250 tasks spanning 4,335 personal records distributed across 10 apps and supports multi-turn interaction through 21 tools. Analysis shows that the benchmark exhibits diverse scenarios, challenging tasks, scattered information, controllable environments, and verifiable outcomes. We evaluate nine representative LLMs and find substantial room for improvement. The best-performing model, GPT-5.5 (xhigh), achieves only 57.3% accuracy, while the weakest achieves just 16.4%. Further analysis reveals that 79% of failures stem from inaccurate information localization, as LLMs often commit to plausible but incorrect information instead of continuing retrieval for verification. We also find that fewer than 2% of retrieval actions employ advanced search methods and observe substantial variation in search efficiency across models. These findings expose fundamental limitations of current LLM-based mobile assistants and motivate future research in this direction. Data and code are available at https://huggingface.co/datasets/Junjie-Ye/SPIEval.