PalmClaw: 携帯電話向けネイティブオンデバイスエージェントフレームワーク

要旨

大規模言語モデル（LLM）エージェントは、応答生成に留まらず、ツールを呼び出し、結果を観察し、次のアクションを反復的に決定することで多段階タスクを実行するようになっている。ほとんどのエージェントシステムはデスクトップやサーバー上で動作し、ツールの利用とタスク自動化をサポートしている。モバイルデバイスも、広く利用可能でユーザーのデータ、センサー、日常的なアプリケーションを含むため、重要なエージェント環境である。既存のモバイルエージェントは主に、タップ、スワイプ、タイピングといったグラフィカルユーザーインターフェース（GUI）操作を通じてスマートフォンを操作するが、これらは長くインターフェースに依存したシーケンスを形成しがちであり、デバイス機能に直接アクセスできず、実行境界の定義を困難にしている。我々はPalmClawを提案する。これはモバイルフォン上でネイティブに動作し、セッション、メモリ、スキル、ツール、エージェントループをデバイス上で直接管理するオープンソースのエージェントフレームワークである。PalmClawはデバイス機能を、明示的な引数、構造化された結果、明確に定義された実行境界を持つデバイスツールとして公開する。この設計により、エージェントは各アクションを明示的かつ制御可能に保ちながら、モバイル機能を直接利用できる。実験では、最強のベースラインと比較してタスク成功率が11.5%向上し、完了時間が94.9%短縮され、セットアップ負荷が低減され、実行境界の適用方法を示すトレースが得られた。コードはhttps://github.com/ModalityDance/PalmClawで入手可能である。

English

Large Language Model (LLM) agents have moved beyond generating responses to executing multi-step tasks by calling tools, observing the results, and iteratively deciding the next action. Most agent systems run on desktops or servers, which support tool use and task automation. Mobile devices are also important agent environments because they are widely accessible and contain users' data, sensors, and daily-use applications. Existing mobile agents mainly operate smartphones through graphical user interface (GUI) actions such as tapping, swiping, and typing, which often form long, interface-dependent sequences, cannot directly access device capabilities, and make execution boundaries difficult to define. We present PalmClaw, an open-source agent framework that runs natively on mobile phones and manages the sessions, memory, skills, tools, and agent loop directly on the device. PalmClaw exposes device capabilities as device tools with explicit arguments, structured results, and clearly defined execution boundaries. This design enables agents to use mobile capabilities directly while keeping each action explicit and controlled. Experiments show an 11.5\% relative improvement in task success and a 94.9\% reduction in completion time over the strongest baseline, with lower setup burden and traces illustrating how execution boundaries are applied. Code is available at https://github.com/ModalityDance/PalmClaw.