PalmClaw : Un framework d'agents natif sur appareil pour téléphones mobiles

Résumé

Les agents basés sur les modèles de langage de grande taille (LLM) ont dépassé la simple génération de réponses pour exécuter des tâches multi-étapes en appelant des outils, en observant les résultats et en décidant itérativement de l'action suivante. La plupart des systèmes d'agents fonctionnent sur des ordinateurs de bureau ou des serveurs, ce qui prend en charge l'utilisation d'outils et l'automatisation des tâches. Les appareils mobiles constituent également des environnements d'agents importants, car ils sont largement accessibles et contiennent les données, les capteurs et les applications quotidiennes des utilisateurs. Les agents mobiles existants opèrent principalement sur les smartphones via des actions sur l'interface graphique utilisateur (GUI) telles que le tapotement, le balayage et la saisie, qui forment souvent de longues séquences dépendantes de l'interface, ne peuvent pas accéder directement aux capacités de l'appareil et rendent les limites d'exécution difficiles à définir. Nous présentons PalmClaw, un cadre agent open source qui s'exécute nativement sur les téléphones mobiles et gère directement sur l'appareil les sessions, la mémoire, les compétences, les outils et la boucle de l'agent. PalmClaw expose les capacités de l'appareil en tant qu'outils avec des arguments explicites, des résultats structurés et des limites d'exécution clairement définies. Cette conception permet aux agents d'utiliser directement les capacités mobiles tout en maintenant chaque action explicite et contrôlée. Les expériences montrent une amélioration relative de 11,5 % du succès des tâches et une réduction de 94,9 % du temps d'exécution par rapport à la référence la plus forte, avec une charge de configuration moindre et des traces illustrant comment les limites d'exécution sont appliquées. Le code est disponible à l'adresse https://github.com/ModalityDance/PalmClaw.

English

Large Language Model (LLM) agents have moved beyond generating responses to executing multi-step tasks by calling tools, observing the results, and iteratively deciding the next action. Most agent systems run on desktops or servers, which support tool use and task automation. Mobile devices are also important agent environments because they are widely accessible and contain users' data, sensors, and daily-use applications. Existing mobile agents mainly operate smartphones through graphical user interface (GUI) actions such as tapping, swiping, and typing, which often form long, interface-dependent sequences, cannot directly access device capabilities, and make execution boundaries difficult to define. We present PalmClaw, an open-source agent framework that runs natively on mobile phones and manages the sessions, memory, skills, tools, and agent loop directly on the device. PalmClaw exposes device capabilities as device tools with explicit arguments, structured results, and clearly defined execution boundaries. This design enables agents to use mobile capabilities directly while keeping each action explicit and controlled. Experiments show an 11.5\% relative improvement in task success and a 94.9\% reduction in completion time over the strongest baseline, with lower setup burden and traces illustrating how execution boundaries are applied. Code is available at https://github.com/ModalityDance/PalmClaw.