GUICrafter : Agent GUI faiblement supervisé exploitant des captures d'écran massives non annotées

Résumé

Les données, en tant que substrat fondamental de l'intelligence moderne, ont largement stimulé le développement des modèles fondamentaux actuels. Naturellement, les chercheurs cherchent à étendre ce paradigme au domaine des agents GUI, espérant construire des agents GUI robustes via un paradigme similaire. Cependant, les données des agents GUI ne peuvent pas être directement collectées sur Internet, ce qui les rend coûteuses et difficiles à obtenir à grande échelle. En conséquence, les agents GUI actuels souffrent d'une faible généralisation inter-appareils et d'une capacité d'ancrage visuel limitée pour les éléments GUI fins. Pour tenter de relever le défi des données dans les agents GUI, nous proposons GUICrafter, un agent GUI faiblement supervisé exploitant des captures d'écran massives non annotées pour réduire considérablement la dépendance aux annotations humaines coûteuses. GUICrafter explore un cadre d'apprentissage par curriculum pour former les agents GUI à travers deux étapes progressives. Dans un premier temps, le modèle apprend l'ancrage visuel à partir de captures d'écran et de pages web à grande échelle non annotées, en exploitant les signaux contextuels riches inhérents aux interactions GUI sans annotations humaines. Ensuite, dans la deuxième étape, nous utilisons une petite quantité de données de haute qualité pour calibrer le modèle via un apprentissage par renforcement. Les expériences montrent que GUICrafter atteint des performances compétitives, voire supérieures, à celles de systèmes avancés comme UI-TARS, tout en n'utilisant que 0,1 % de ses données. De plus, avec la même quantité de données annotées, GUICrafter surpasse toutes les méthodes précédentes telles que GUI-R1. Le code, les données et les modèles sont disponibles à l'adresse https://github.com/fansunqi/GUICrafter.

English

Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.