SPIEval: 흩어진 개인 정보에 대한 모바일 어시스턴트로서의 대규모 언어 모델 평가

초록

대규모 언어 모델(LLM)은 점점 더 모바일 어시스턴트로 배포되고 있으며, 이때 핵심 과제는 여러 애플리케이션(앱)에 분산된 개인 정보를 활용하여 사용자 지시를 완수하는 것이다. 그러나 전용 벤치마크가 부족하여 그 역량은 제대로 이해되지 못하고 있다. 이러한 격차를 해소하기 위해 우리는 다섯 가지 인지 능력(즉, 추론, 모호성 해소, 통합, 선호도 추론, 다중 의도 분해)에 기반을 둔 인간 직접 선별 벤치마크인 SPIEval을 소개한다. SPIEval은 10개의 앱에 분산된 4,335개의 개인 기록을 포괄하는 250개의 작업으로 구성되며, 21개의 도구를 통해 다중 턴 상호작용을 지원한다. 분석 결과, 이 벤치마크는 다양한 시나리오, 도전적인 작업, 분산된 정보, 통제 가능한 환경, 검증 가능한 결과를 나타낸다. 우리는 아홉 개의 대표적인 LLM을 평가했으며 상당한 개선 여지가 있음을 발견했다. 가장 우수한 성능을 보인 모델인 GPT-5.5(xhigh)는 57.3%의 정확도에 그쳤고, 가장 낮은 성능의 모델은 16.4%에 불과했다. 추가 분석에 따르면 실패의 79%는 부정확한 정보 위치 파악에서 비롯되며, LLM은 검증을 위해 검색을 계속하는 대신 그럴듯하지만 틀린 정보에 집착하는 경향이 있다. 또한 검색 행동 중 2% 미만만이 고급 검색 방법을 사용하며, 모델 간 검색 효율에도 상당한 차이가 있음을 발견했다. 이러한 결과는 현재 LLM 기반 모바일 어시스턴트의 근본적인 한계를 드러내며, 이 방향의 향후 연구를 촉진한다. 데이터와 코드는 https://huggingface.co/datasets/Junjie-Ye/SPIEval에서 확인할 수 있다.

English

Large language models (LLMs) are increasingly deployed as mobile assistants, where a key challenge is leveraging personal information scattered across multiple applications (apps) to complete user instructions. However, due to the lack of dedicated benchmarks, their capabilities remain poorly understood. To address this gap, we introduce SPIEval, a human-curated benchmark grounded in five cognitive capabilities (i.e., reasoning, disambiguation, integration, preference inference, and multi-intent decomposition). SPIEval comprises 250 tasks spanning 4,335 personal records distributed across 10 apps and supports multi-turn interaction through 21 tools. Analysis shows that the benchmark exhibits diverse scenarios, challenging tasks, scattered information, controllable environments, and verifiable outcomes. We evaluate nine representative LLMs and find substantial room for improvement. The best-performing model, GPT-5.5 (xhigh), achieves only 57.3% accuracy, while the weakest achieves just 16.4%. Further analysis reveals that 79% of failures stem from inaccurate information localization, as LLMs often commit to plausible but incorrect information instead of continuing retrieval for verification. We also find that fewer than 2% of retrieval actions employ advanced search methods and observe substantial variation in search efficiency across models. These findings expose fundamental limitations of current LLM-based mobile assistants and motivate future research in this direction. Data and code are available at https://huggingface.co/datasets/Junjie-Ye/SPIEval.