PalmClaw: Um Framework de Agente Nativo no Dispositivo para Telefones Móveis

Resumo

Agentes baseados em Modelos de Linguagem de Grande Porte (LLMs) evoluíram da geração de respostas para a execução de tarefas de múltiplas etapas, utilizando ferramentas, observando os resultados e decidindo iterativamente a próxima ação. A maioria dos sistemas de agentes opera em desktops ou servidores, que suportam o uso de ferramentas e a automação de tarefas. Dispositivos móveis também constituem ambientes importantes para agentes, por serem amplamente acessíveis e conterem dados, sensores e aplicativos de uso cotidiano dos usuários. Agentes móveis existentes operam principalmente em smartphones por meio de ações na interface gráfica do usuário (GUI), como toques, deslizes e digitação, que frequentemente formam longas sequências dependentes da interface, não conseguem acessar diretamente as capacidades do dispositivo e tornam os limites de execução difíceis de definir. Apresentamos o PalmClaw, um framework de agente de código aberto executado nativamente em telefones móveis que gerencia sessões, memória, habilidades, ferramentas e o ciclo do agente diretamente no dispositivo. O PalmClaw expõe as capacidades do dispositivo como ferramentas do dispositivo com argumentos explícitos, resultados estruturados e limites de execução claramente definidos. Esse design permite que os agentes utilizem as capacidades móveis diretamente, mantendo cada ação explícita e controlada. Experimentos mostram uma melhoria relativa de 11,5% no sucesso da tarefa e uma redução de 94,9% no tempo de conclusão em relação à melhor baseline, com menor carga de configuração e rastros que ilustram como os limites de execução são aplicados. O código está disponível em https://github.com/ModalityDance/PalmClaw.

English

Large Language Model (LLM) agents have moved beyond generating responses to executing multi-step tasks by calling tools, observing the results, and iteratively deciding the next action. Most agent systems run on desktops or servers, which support tool use and task automation. Mobile devices are also important agent environments because they are widely accessible and contain users' data, sensors, and daily-use applications. Existing mobile agents mainly operate smartphones through graphical user interface (GUI) actions such as tapping, swiping, and typing, which often form long, interface-dependent sequences, cannot directly access device capabilities, and make execution boundaries difficult to define. We present PalmClaw, an open-source agent framework that runs natively on mobile phones and manages the sessions, memory, skills, tools, and agent loop directly on the device. PalmClaw exposes device capabilities as device tools with explicit arguments, structured results, and clearly defined execution boundaries. This design enables agents to use mobile capabilities directly while keeping each action explicit and controlled. Experiments show an 11.5\% relative improvement in task success and a 94.9\% reduction in completion time over the strongest baseline, with lower setup burden and traces illustrating how execution boundaries are applied. Code is available at https://github.com/ModalityDance/PalmClaw.