GUICrafter: 대량의 주석 없는 스크린샷을 활용하는 약한 지도 GUI 에이전트

초록

현대 지능의 근본적 기반이 되는 데이터는 현재의 기반 모델 발전에 크게 기여해 왔다. 자연스럽게 연구자들은 이러한 패러다임을 GUI 에이전트 영역으로 확장하여 유사한 방식을 통해 강력한 GUI 에이전트를 구축하고자 한다. 그러나 GUI 에이전트 데이터는 인터넷에서 직접 수집할 수 없으므로 대규모로 확보하는 데 비용이 많이 들고 어렵다. 그 결과, 현재의 GUI 에이전트는 교차 기기 일반화 능력이 부족하고 미세한 GUI 요소에 대한 시각적 근거 파악 능력이 제한적이다. GUI 에이전트의 데이터 문제를 해결하기 위한 시도로서, 우리는 GUICrafter를 제안한다. 이는 대규모의 주석 없는 스크린샷을 활용하여 고가의 인간 주석에 대한 의존도를 대폭 줄이는 약지도 학습 기반 GUI 에이전트이다. GUICrafter는 두 단계의 점진적 과정을 통해 GUI 에이전트를 훈련하는 커리큘럼 학습 프레임워크를 탐구한다. 첫 번째 단계에서 모델은 인간 주석 없이 GUI 상호작용에 내재된 풍부한 맥락 신호를 활용하여 대규모 주석 없는 스크린샷과 웹페이지로부터 시각적 근거를 학습한다. 그런 다음 2단계에서는 소량의 고품질 데이터를 활용하여 강화 학습을 통해 모델을 보정한다. 실험 결과, GUICrafter는 UI-TARS와 같은 최첨단 시스템에 비해 경쟁력 있거나 오히려 우수한 성능을 달성하면서도 데이터 사용량은 0.1%에 불과하다. 또한 동일한 양의 주석 데이터를 사용할 때 GUICrafter는 GUI-R1 등 이전의 모든 방법을 능가한다. 코드, 데이터 및 모델은 https://github.com/fansunqi/GUICrafter에서 확인할 수 있다.

English

Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.