PalmClaw: Ein natives geräteinternes Agenten-Framework für Mobiltelefone

Zusammenfassung

Große Sprachmodelle (LLM)-Agenten haben sich von der reinen Generierung von Antworten weiterentwickelt und führen nun mehrschrittige Aufgaben aus, indem sie Werkzeuge aufrufen, die Ergebnisse beobachten und iterativ die nächste Aktion bestimmen. Die meisten Agentensysteme laufen auf Desktops oder Servern, die die Werkzeugnutzung und Aufgabenautomatisierung unterstützen. Auch Mobilgeräte stellen wichtige Agentenumgebungen dar, da sie weit verbreitet sind und Nutzerdaten, Sensoren sowie Alltagsanwendungen enthalten. Bestehende mobile Agenten bedienen Smartphones hauptsächlich über Aktionen der grafischen Benutzeroberfläche (GUI) wie Antippen, Wischen und Eintippen, die oft lange, schnittstellenabhängige Sequenzen bilden, nicht direkt auf Gerätefunktionen zugreifen können und die Ausführungsgrenzen schwer definierbar machen. Wir stellen PalmClaw vor, ein quelloffenes Agentenframework, das nativ auf Mobiltelefonen läuft und die Sitzungen, den Speicher, die Fähigkeiten, die Werkzeuge sowie die Agentenschleife direkt auf dem Gerät verwaltet. PalmClaw stellt Gerätefunktionen als Gerätewerkzeuge mit expliziten Argumenten, strukturierten Ergebnissen und klar definierten Ausführungsgrenzen bereit. Dieses Design ermöglicht es Agenten, Mobilfunktionen direkt zu nutzen, während jede Aktion explizit und kontrolliert bleibt. Experimente zeigen eine relative Verbesserung der Aufgabenerfüllung um 11,5 % und eine Reduzierung der Ausführungszeit um 94,9 % gegenüber der stärksten Baseline, bei geringerem Einrichtungsaufwand, und Spuren veranschaulichen, wie Ausführungsgrenzen angewendet werden. Der Code ist verfügbar unter https://github.com/ModalityDance/PalmClaw.

English

Large Language Model (LLM) agents have moved beyond generating responses to executing multi-step tasks by calling tools, observing the results, and iteratively deciding the next action. Most agent systems run on desktops or servers, which support tool use and task automation. Mobile devices are also important agent environments because they are widely accessible and contain users' data, sensors, and daily-use applications. Existing mobile agents mainly operate smartphones through graphical user interface (GUI) actions such as tapping, swiping, and typing, which often form long, interface-dependent sequences, cannot directly access device capabilities, and make execution boundaries difficult to define. We present PalmClaw, an open-source agent framework that runs natively on mobile phones and manages the sessions, memory, skills, tools, and agent loop directly on the device. PalmClaw exposes device capabilities as device tools with explicit arguments, structured results, and clearly defined execution boundaries. This design enables agents to use mobile capabilities directly while keeping each action explicit and controlled. Experiments show an 11.5\% relative improvement in task success and a 94.9\% reduction in completion time over the strongest baseline, with lower setup burden and traces illustrating how execution boundaries are applied. Code is available at https://github.com/ModalityDance/PalmClaw.