PalmClaw: нативный агентный фреймворк для мобильных телефонов с выполнением на устройстве

Аннотация

Агенты на основе больших языковых моделей (LLM) вышли за рамки генерации ответов и теперь выполняют многошаговые задачи, вызывая инструменты, наблюдая за результатами и итеративно принимая решения о следующем действии. Большинство агентных систем работают на настольных компьютерах или серверах, поддерживающих использование инструментов и автоматизацию задач. Мобильные устройства также являются важной средой для агентов, поскольку они широко доступны и содержат данные пользователей, датчики и приложения повседневного использования. Существующие мобильные агенты в основном управляют смартфонами через действия графического интерфейса пользователя (GUI), такие как нажатие, смахивание и ввод текста, которые часто образуют длинные, зависимые от интерфейса последовательности, не могут напрямую обращаться к возможностям устройства и затрудняют определение границ выполнения. Мы представляем PalmClaw — фреймворк для агентов с открытым исходным кодом, который работает нативно на мобильных телефонах и управляет сессиями, памятью, навыками, инструментами и циклом агента непосредственно на устройстве. PalmClaw предоставляет возможности устройства в виде инструментов с явными аргументами, структурированными результатами и четко определенными границами выполнения. Такая конструкция позволяет агентам напрямую использовать мобильные возможности, сохраняя при этом каждое действие явным и контролируемым. Эксперименты показывают относительное улучшение успешности выполнения задач на 11,5% и сокращение времени выполнения на 94,9% по сравнению с самым сильным базовым методом, при этом нагрузка на настройку ниже, а трассы иллюстрируют применение границ выполнения. Код доступен по адресу https://github.com/ModalityDance/PalmClaw.

English

Large Language Model (LLM) agents have moved beyond generating responses to executing multi-step tasks by calling tools, observing the results, and iteratively deciding the next action. Most agent systems run on desktops or servers, which support tool use and task automation. Mobile devices are also important agent environments because they are widely accessible and contain users' data, sensors, and daily-use applications. Existing mobile agents mainly operate smartphones through graphical user interface (GUI) actions such as tapping, swiping, and typing, which often form long, interface-dependent sequences, cannot directly access device capabilities, and make execution boundaries difficult to define. We present PalmClaw, an open-source agent framework that runs natively on mobile phones and manages the sessions, memory, skills, tools, and agent loop directly on the device. PalmClaw exposes device capabilities as device tools with explicit arguments, structured results, and clearly defined execution boundaries. This design enables agents to use mobile capabilities directly while keeping each action explicit and controlled. Experiments show an 11.5\% relative improvement in task success and a 94.9\% reduction in completion time over the strongest baseline, with lower setup burden and traces illustrating how execution boundaries are applied. Code is available at https://github.com/ModalityDance/PalmClaw.