KnowAct-GUIClaw: 깊이 인식하고 완벽히 실행하는, 자기 진화적 메모리와 기술을 갖춘 개인 GUI 어시스턴트

초록

OpenClaw는 복잡한 작업 자동화를 위한 선도적인 에이전트 프레임워크로 부상했지만, 불충분한 크로스 플랫폼 GUI 상호작용 지원과 견고한 자기 진화 메커니즘 부재라는 한계를 지닌다. 이러한 결함은 다양한 기기 생태계에 대한 적응을 제한하고 실행 경험으로부터의 지속적 학습을 통한 성능 개선을 저해한다. 이러한 문제를 해결하기 위해, 우리는 개인 비서를 위한 '심층 인지, 완벽 행동' 패러다임을 제안한다. 이 패러다임은 누적된 사용자 상호작용 및 작업 실행 경험이 실행 정확성과 효율성을 직접적으로 향상시켜 인지 이해와 운영 실행을 통합한다고 주장한다. 이 패러다임에 기반하여, 우리는 OpenClaw의 GUI 조작 결함을 해결하고 크로스 플랫폼 및 재귀적 자기 개선 제약을 돌파하기 위해 설계된 새로운 Know-Route-Act-Reflect 프레임워크인 KnowAct-GUIClaw를 소개한다. 첫째, 호스트 에이전트는 축적된 상호작용 경험과 작업 관련 지식을 활용하여 장기적인 작업 분해 및 할당을 수행한다(인지 단계). 둘째, 경험 귀속 메모리 시스템(인지 단계)과 자기 진화적 스킬 라이브러리(행동 단계)를 갖춘 플러그형 GUI 하위 에이전트는 원활한 크로스 플랫폼 마이그레이션과 고속 경로 통합을 가능하게 한다. 특히, 이 프레임워크는 사용자 프로필과 피드백을 지속적으로 저장하여 작업 분해 및 도구 호출의 정확성을 향상시킨다. Android, iOS, HarmonyOS 및 Windows를 대상으로 한 광범위한 실험을 통해 KnowAct-GUIClaw가 뛰어난 효율성, 정확성 및 크로스 플랫폼 적응성을 달성함을 보여준다. 특히, 오픈소스 Kimi-2.6 모델을 사용한 GUIClaw는 장기적인 MobileWorld 벤치마크에서 최고 성능(64.1%)을 기록하여 Seed-2.0-Pro 및 GPT-5.5와 같은 모든 에이전트 프레임워크 및 폐쇄형 소스 에이전트 모델을 능가한다. 또한, 당사 프레임워크가 지원하는 지식 기반 메모리 및 실행 스킬은 다양한 기본 모델 간에 전이 가능하며, Kimi-2.6을 사용하여 8.5%의 성능 향상을 보인다.

English

OpenClaw has emerged as a leading agent framework for complex task automation, yet it faces insufficient cross-platform GUI interaction support and a well-built self-evolution mechanism. These flaws limit its adaptation to diverse device ecosystems and prevent performance improvements through continuous learning from execution experience. To resolve these issues, we propose the Know Deeply, Act Perfectly paradigm for personal assistants, which holds that accumulated user interaction and task-running experience directly improve execution accuracy and efficiency, unifying cognitive comprehension and operational execution. Based on this paradigm, we introduce KnowAct-GUIClaw, a novel Know-Route-Act-Reflect framework designed to address OpenClaw's GUI manipulation deficits and break through its cross-platform and recursive self-improvement constraints. First, the host agent leverages accumulated interaction experience and task-relevant knowledge for long-horizon task decomposition and allocation (Know). Second, a pluggable GUI subagent with an experience-attributable memory system (Know) and self-evolving skill library (Act), enabling seamless cross-platform migration and fast-path integration. Especially, this framework continuously stores user profiles and feedback to improve the accuracy of task decomposition and tool calls. Extensive experiments across Android, iOS, HarmonyOS and Windows show that KnowAct-GUIClaw achieves superior efficiency, accuracy and cross-platform adaptability. Especially, the GUIClaw with open-source Kimi-2.6 models achieves the best performance (64.1%) on the long-horizon MobileWorld benchmark, beating all agentical frameworks and closed-source agentical models, e.g., Seed-2.0-Pro and GPT-5.5. Additionally, the knowledgeable memory and execution skills supported by our framework are transferable across diverse base models, improving by 8.5% with Kimi-2.6.

KnowAct-GUIClaw: 깊이 인식하고 완벽히 실행하는, 자기 진화적 메모리와 기술을 갖춘 개인 GUI 어시스턴트

KnowAct-GUIClaw: Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill

초록

Support