PalmClaw: 모바일 폰을 위한 네이티브 온디바이스 에이전트 프레임워크

초록

대규모 언어 모델(LLM) 에이전트는 단순히 응답을 생성하는 것을 넘어, 도구를 호출하고 결과를 관찰하며 다음 행동을 반복적으로 결정하는 다단계 작업을 실행합니다. 대부분의 에이전트 시스템은 도구 사용과 작업 자동화를 지원하는 데스크톱 또는 서버에서 작동합니다. 모바일 기기는 널리 접근 가능하고 사용자의 데이터, 센서, 일상적인 애플리케이션을 포함하기 때문에 중요한 에이전트 환경입니다. 기존의 모바일 에이전트는 주로 탭, 스와이프, 타이핑과 같은 그래픽 사용자 인터페이스(GUI) 동작을 통해 스마트폰을 작동하는데, 이는 종종 길고 인터페이스에 의존적인 시퀀스를 형성하며, 장치 기능에 직접 접근할 수 없고 실행 경계를 정의하기 어렵게 만듭니다. 본 논문에서는 모바일 폰에서 네이티브로 실행되며 세션, 메모리, 스킬, 도구 및 에이전트 루프를 장치에서 직접 관리하는 오픈소스 에이전트 프레임워크인 PalmClaw를 제시합니다. PalmClaw는 명시적인 인수, 구조화된 결과, 명확하게 정의된 실행 경계를 갖춘 장치 도구로 장치 기능을 노출합니다. 이 설계는 각 동작을 명시적이고 통제된 상태로 유지하면서 에이전트가 모바일 기능을 직접 사용할 수 있게 합니다. 실험 결과, 가장 강력한 기준선 대비 작업 성공률이 11.5% 상대적으로 향상되었고, 완료 시간이 94.9% 감소했으며, 설정 부담이 낮아지고 실행 경계가 어떻게 적용되는지 보여주는 추적이 제공되었습니다. 코드는 https://github.com/ModalityDance/PalmClaw에서 확인할 수 있습니다.

English

Large Language Model (LLM) agents have moved beyond generating responses to executing multi-step tasks by calling tools, observing the results, and iteratively deciding the next action. Most agent systems run on desktops or servers, which support tool use and task automation. Mobile devices are also important agent environments because they are widely accessible and contain users' data, sensors, and daily-use applications. Existing mobile agents mainly operate smartphones through graphical user interface (GUI) actions such as tapping, swiping, and typing, which often form long, interface-dependent sequences, cannot directly access device capabilities, and make execution boundaries difficult to define. We present PalmClaw, an open-source agent framework that runs natively on mobile phones and manages the sessions, memory, skills, tools, and agent loop directly on the device. PalmClaw exposes device capabilities as device tools with explicit arguments, structured results, and clearly defined execution boundaries. This design enables agents to use mobile capabilities directly while keeping each action explicit and controlled. Experiments show an 11.5\% relative improvement in task success and a 94.9\% reduction in completion time over the strongest baseline, with lower setup burden and traces illustrating how execution boundaries are applied. Code is available at https://github.com/ModalityDance/PalmClaw.