PalmClaw: Een native on-device agentframework voor mobiele telefoons

Samenvatting

Grootse taalmodellen (LLM)-agenten zijn verder gegaan dan het genereren van antwoorden en voeren nu meerstapstaken uit door tools aan te roepen, de resultaten te observeren en iteratief de volgende actie te bepalen. De meeste agentsystemen draaien op desktops of servers, die toolgebruik en taakautomatisering ondersteunen. Mobiele apparaten vormen ook een belangrijke agentomgeving, omdat ze breed toegankelijk zijn en gebruikersgegevens, sensoren en dagelijkse toepassingen bevatten. Bestaande mobiele agenten bedienen smartphones voornamelijk via grafische gebruikersinterface (GUI)-acties zoals tikken, vegen en typen, wat vaak leidt tot lange, interface-afhankelijke reeksen, geen directe toegang biedt tot apparaatmogelijkheden en de uitvoeringsgrenzen moeilijk definieerbaar maakt. Wij presenteren PalmClaw, een open-source agentframework dat native op mobiele telefoons draait en de sessies, het geheugen, de vaardigheden, de tools en de agentlus rechtstreeks op het apparaat beheert. PalmClaw stelt apparaatmogelijkheden beschikbaar als apparaat-tools met expliciete argumenten, gestructureerde resultaten en helder gedefinieerde uitvoeringsgrenzen. Dit ontwerp stelt agenten in staat om mobiele mogelijkheden direct te gebruiken, terwijl elke actie expliciet en beheersbaar blijft. Experimenten tonen een relatieve verbetering van 11,5% in taaksucces en een vermindering van 94,9% in voltooiingstijd ten opzichte van de sterkste basislijn, met een lagere opstellingslast en tracés die illustreren hoe uitvoeringsgrenzen worden toegepast. Code is beschikbaar op https://github.com/ModalityDance/PalmClaw.

English

Large Language Model (LLM) agents have moved beyond generating responses to executing multi-step tasks by calling tools, observing the results, and iteratively deciding the next action. Most agent systems run on desktops or servers, which support tool use and task automation. Mobile devices are also important agent environments because they are widely accessible and contain users' data, sensors, and daily-use applications. Existing mobile agents mainly operate smartphones through graphical user interface (GUI) actions such as tapping, swiping, and typing, which often form long, interface-dependent sequences, cannot directly access device capabilities, and make execution boundaries difficult to define. We present PalmClaw, an open-source agent framework that runs natively on mobile phones and manages the sessions, memory, skills, tools, and agent loop directly on the device. PalmClaw exposes device capabilities as device tools with explicit arguments, structured results, and clearly defined execution boundaries. This design enables agents to use mobile capabilities directly while keeping each action explicit and controlled. Experiments show an 11.5\% relative improvement in task success and a 94.9\% reduction in completion time over the strongest baseline, with lower setup burden and traces illustrating how execution boundaries are applied. Code is available at https://github.com/ModalityDance/PalmClaw.