KnowAct-GUIClaw：深く知り、完璧に行動する——自己進化する記憶とスキルを備えたパーソナルGUIアシスタント

要旨

OpenClawは複雑なタスク自動化のための主要なエージェントフレームワークとして登場したが、クロスプラットフォームGUIインタラクションのサポートが不十分であり、自己進化機構も十分に構築されていない。これらの欠陥により、多様なデバイスエコシステムへの適応が制限され、実行経験からの継続的学習による性能向上が阻まれている。これらの問題を解決するために、我々はパーソナルアシスタント向けの「Know Deeply, Act Perfectly」パラダイムを提案する。このパラダイムは、蓄積されたユーザーインタラクションとタスク実行経験が実行精度と効率を直接向上させ、認知的理解と操作実行を統合するという考えに基づいている。このパラダイムに基づき、我々はOpenClawのGUI操作の欠陥に対処し、そのクロスプラットフォームおよび再帰的自己改善の制約を打破するために設計された、新規なKnow-Route-Act-ReflectフレームワークであるKnowAct-GUIClawを導入する。第1に、ホストエージェントは蓄積されたインタラクション経験とタスク関連知識を活用して、長期的なタスク分解と割り当てを行う（Know）。第2に、経験帰属可能なメモリシステム（Know）と自己進化型スキルライブラリ（Act）を備えたプラグイン可能なGUIサブエージェントにより、シームレスなクロスプラットフォーム移行と高速パス統合が可能になる。特に、このフレームワークはユーザープロファイルとフィードバックを継続的に保存し、タスク分解とツール呼び出しの精度を向上させる。Android、iOS、HarmonyOS、Windowsにわたる広範な実験により、KnowAct-GUIClawは優れた効率性、精度、クロスプラットフォーム適応性を達成することが示された。特に、オープンソースのKimi-2.6モデルを用いたGUIClawは、長期タスク向けMobileWorldベンチマークで最高性能（64.1%）を達成し、全てのエージェントフレームワークおよびクローズドソースのエージェントモデル（Seed-2.0-ProやGPT-5.5など）を凌駕した。さらに、我々のフレームワークがサポートする知識ベースのメモリと実行スキルは多様なベースモデル間で転送可能であり、Kimi-2.6では8.5%の改善が見られた。

English

OpenClaw has emerged as a leading agent framework for complex task automation, yet it faces insufficient cross-platform GUI interaction support and a well-built self-evolution mechanism. These flaws limit its adaptation to diverse device ecosystems and prevent performance improvements through continuous learning from execution experience. To resolve these issues, we propose the Know Deeply, Act Perfectly paradigm for personal assistants, which holds that accumulated user interaction and task-running experience directly improve execution accuracy and efficiency, unifying cognitive comprehension and operational execution. Based on this paradigm, we introduce KnowAct-GUIClaw, a novel Know-Route-Act-Reflect framework designed to address OpenClaw's GUI manipulation deficits and break through its cross-platform and recursive self-improvement constraints. First, the host agent leverages accumulated interaction experience and task-relevant knowledge for long-horizon task decomposition and allocation (Know). Second, a pluggable GUI subagent with an experience-attributable memory system (Know) and self-evolving skill library (Act), enabling seamless cross-platform migration and fast-path integration. Especially, this framework continuously stores user profiles and feedback to improve the accuracy of task decomposition and tool calls. Extensive experiments across Android, iOS, HarmonyOS and Windows show that KnowAct-GUIClaw achieves superior efficiency, accuracy and cross-platform adaptability. Especially, the GUIClaw with open-source Kimi-2.6 models achieves the best performance (64.1%) on the long-horizon MobileWorld benchmark, beating all agentical frameworks and closed-source agentical models, e.g., Seed-2.0-Pro and GPT-5.5. Additionally, the knowledgeable memory and execution skills supported by our framework are transferable across diverse base models, improving by 8.5% with Kimi-2.6.

KnowAct-GUIClaw：深く知り、完璧に行動する——自己進化する記憶とスキルを備えたパーソナルGUIアシスタント

KnowAct-GUIClaw: Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill

要旨

Support