MobilePA-Bench：複雑な実世界タスクにおけるモバイルプランナーエージェントのベンチマーキング

要旨

オンデバイスLLMエージェントがパーソナルコパイロットへと進化するにつれ、モバイルオペレーティングシステムはこのパラダイムの主要なテストベッドとなり、厳密な能力評価が不可欠になっている。しかし既存のベンチマークは2つの系統に分かれており、それぞれに重大な盲点がある。GUI中心のベンチマークは表面的な画面操作をテストする一方で、バックグラウンドでのツール使用や長期的な計画立案を見落としている。対照的に、静的関数呼び出しベンチマークは、実実行時の制約から切り離されたオフラインのAPIマッチングに依存している。このギャップを埋めるため、我々はモバイル計画エージェントのツール呼び出し能力と計画能力を評価するための、対話型・状態保持型・ツール中心のベンチマークであるMobilePA-Benchを提案する。MobilePA-Benchは、ライブなアプリケーションデータベースを保持し構造化フィードバックを返す実行可能なサンドボックス上で動作し、13の機能ドメインと212の現実的なモバイルツールを網羅する。基本的なツール使用に加えて、中心となる計画エージェントを3つの高度な側面に沿って評価する。(1) サブエージェント連携――複雑なタスクを分解し、専門的な作業を有能なサブエージェントに委任する能力。(2) メモリ使用――保存された記憶、ユーザープロファイル、過去の嗜好を想起して暗黙的な要求を解決する能力。(3) スキル使用――すべてのステップをゼロから計画する代わりに、事前にパッケージ化された複合スキルを呼び出す能力。大規模な実験により、現在の最先端LLMはモバイル環境では依然として信頼性が低いことが示された。厳格なツール順序、権限制限、予期しない実行時エラーの下では、性能が急激に低下する。対話型の関数呼び出しサンドボックスとエビデンスに基づく検証を組み合わせることで、MobilePA-Benchは実用的な診断ベンチマークとしても、エージェント型強化学習のための対話型基盤としても機能し、信頼できるモバイルエージェントの開発を加速する。

English

As on-device LLM agents evolve into personal copilots, the mobile operating system has become a key testbed for this paradigm, making rigorous capability evaluation essential. Yet existing benchmarks fall into two camps, each with a critical blind spot: GUI-centric benchmarks test surface-level screen manipulation while overlooking background tool use and long-horizon planning, whereas static function-calling benchmarks rely on offline API matching that is detached from real runtime constraints. To close this gap, we present MobilePA-Bench, an interactive, stateful, and tool-centric benchmark for evaluating the tool-calling and planning abilities of mobile planning agents. MobilePA-Bench runs on an executable sandbox that maintains live application databases and returns structured feedback, spanning 13 functional domains and 212 realistic mobile tools. Beyond basic tool use, it evaluates a central planning agent along three advanced dimensions: (1)~Sub-agent Collaboration---decomposing a complex task and delegating specialized work to capable sub-agents; (2)~Memory Usage---recalling stored memories, user profiles, and past preferences to resolve implicit requests; and (3)~Skill Usage---invoking pre-packaged composite skills instead of planning every step from scratch. Extensive experiments show that current frontier LLMs remain unreliable in mobile settings: performance drops sharply under strict tool ordering, permission limits, and unexpected runtime errors. By pairing an interactive function-calling sandbox with evidence-based verification, MobilePA-Bench serves as both a practical diagnostic benchmark and an interactive foundation for agentic reinforcement learning---accelerating the development of dependable mobile agents.