MobilePA-Bench: 복잡한 실세계 작업에서의 모바일 플래너 에이전트 벤치마킹

초록

온디바이스 LLM 에이전트가 개인 코파일럿으로 진화함에 따라, 모바일 운영체제는 이 패러다임의 핵심 테스트베드가 되었으며, 엄격한 능력 평가가 필수적이다. 그러나 기존 벤치마크는 각각 중대한 사각지대를 가진 두 부류로 나뉜다: GUI 중심 벤치마크는 표면적인 화면 조작만 테스트할 뿐 백그라운드 도구 사용과 장기 계획을 간과하는 반면, 정적 함수 호출 벤치마크는 실제 런타임 제약과 동떨어진 오프라인 API 매칭에 의존한다. 이러한 격차를 해소하기 위해, 우리는 모바일 계획 에이전트의 도구 호출 및 계획 능력을 평가하기 위한 상호작용적이고 상태 저장형이며 도구 중심의 벤치마크인 MobilePA-Bench를 제시한다. MobilePA-Bench는 실행 가능한 샌드박스에서 구동되어 실시간 애플리케이션 데이터베이스를 유지하고 구조화된 피드백을 반환하며, 13개의 기능 도메인과 212개의 실제 모바일 도구를 포괄한다. 기본적인 도구 사용을 넘어, 중앙 계획 에이전트를 다음 세 가지 고급 차원에서 평가한다: (1) 하위 에이전트 협업(Sub-agent Collaboration) — 복잡한 작업을 분해하고 전문 작업을 유능한 하위 에이전트에게 위임하는 능력; (2) 메모리 사용(Memory Usage) — 저장된 메모리, 사용자 프로필, 과거 선호도를 회상하여 암묵적 요청을 해결하는 능력; (3) 스킬 사용(Skill Usage) — 모든 단계를 처음부터 계획하는 대신 사전 패키징된 복합 스킬을 호출하는 능력. 광범위한 실험 결과, 현재 최첨단 LLM은 모바일 환경에서 여전히 신뢰할 수 없음이 드러났다: 엄격한 도구 순서, 권한 제한, 예기치 않은 런타임 오류가 발생하면 성능이 급격히 하락한다. 상호작용형 함수 호출 샌드박스와 증거 기반 검증을 결합함으로써, MobilePA-Bench는 실용적인 진단 벤치마크이자 에이전트 강화 학습을 위한 상호작용 기반으로서, 신뢰할 수 있는 모바일 에이전트의 개발을 가속화한다.

English

As on-device LLM agents evolve into personal copilots, the mobile operating system has become a key testbed for this paradigm, making rigorous capability evaluation essential. Yet existing benchmarks fall into two camps, each with a critical blind spot: GUI-centric benchmarks test surface-level screen manipulation while overlooking background tool use and long-horizon planning, whereas static function-calling benchmarks rely on offline API matching that is detached from real runtime constraints. To close this gap, we present MobilePA-Bench, an interactive, stateful, and tool-centric benchmark for evaluating the tool-calling and planning abilities of mobile planning agents. MobilePA-Bench runs on an executable sandbox that maintains live application databases and returns structured feedback, spanning 13 functional domains and 212 realistic mobile tools. Beyond basic tool use, it evaluates a central planning agent along three advanced dimensions: (1)~Sub-agent Collaboration---decomposing a complex task and delegating specialized work to capable sub-agents; (2)~Memory Usage---recalling stored memories, user profiles, and past preferences to resolve implicit requests; and (3)~Skill Usage---invoking pre-packaged composite skills instead of planning every step from scratch. Extensive experiments show that current frontier LLMs remain unreliable in mobile settings: performance drops sharply under strict tool ordering, permission limits, and unexpected runtime errors. By pairing an interactive function-calling sandbox with evidence-based verification, MobilePA-Bench serves as both a practical diagnostic benchmark and an interactive foundation for agentic reinforcement learning---accelerating the development of dependable mobile agents.