GUICrafter: 大量の未注釈スクリーンショットを活用した弱教師ありGUIエージェント

要旨

データは、現代の知能の基本的な基盤として、現在の基盤モデルの発展を大きく促進してきました。当然ながら、研究者たちはこのパラダイムをGUIエージェントの領域に拡張し、同様のアプローチで強力なGUIエージェントを構築しようと試みています。しかし、GUIエージェントのデータはインターネットから直接収集することができず、大規模に収集するにはコストがかかり困難です。その結果、現状のGUIエージェントは、クロスデバイスでの汎化性能が低く、細かいGUI要素に対する視覚的接地能力が限られています。GUIエージェントにおけるデータ課題に取り組む試みとして、我々はGUICrafterを提案します。これは、大規模な未注釈のスクリーンショットを活用し、高コストな人手によるアノテーションへの依存を大幅に低減する弱教師ありGUIエージェントです。GUICrafterは、2段階の進行に沿ったカリキュラム学習フレームワークを探求し、GUIエージェントを訓練します。第1段階では、モデルは大規模な未注釈のスクリーンショットとWebページから視覚的接地を学習し、人手によるアノテーションなしでGUIインタラクションに内在する豊富な文脈信号を活用します。続く第2段階では、少量の高品質データを強化学習によって活用し、モデルを調整します。実験により、GUICrafterはUI-TARSのような先進的なシステムと同等またはそれ以上の性能を達成しつつ、そのデータ量の0.1%しか使用しないことが示されました。さらに、同じ量のアノテーションデータの下では、GUICrafterはGUI-R1など従来のすべての手法を凌駕します。コード、データ、モデルはhttps://github.com/fansunqi/GUICrafterで公開されています。

English

Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.