GUICrafter: Agente de GUI débilmente supervisado que aprovecha capturas de pantalla masivas sin anotar

Resumen

Los datos, como sustrato fundamental de la inteligencia moderna, han impulsado en gran medida el desarrollo de los modelos fundacionales actuales. Naturalmente, los investigadores buscan extender este paradigma al ámbito de los agentes GUI, con la esperanza de construir agentes GUI robustos mediante un enfoque similar. Sin embargo, los datos para agentes GUI no pueden recolectarse directamente de internet, lo que los hace costosos y difíciles de obtener a gran escala. Como resultado, los agentes GUI actuales presentan una pobre generalización entre dispositivos y una capacidad limitada de anclaje visual para elementos GUI de grano fino. Como intento de abordar el desafío de los datos en agentes GUI, proponemos GUICrafter, un agente GUI débilmente supervisado que aprovecha capturas de pantalla masivas sin anotar para reducir sustancialmente la dependencia de costosas anotaciones humanas. GUICrafter explora un marco de aprendizaje curricular para entrenar agentes GUI en dos etapas progresivas. Primero, el modelo aprende anclaje visual a partir de capturas de pantalla y páginas web a gran escala sin anotar, aprovechando las ricas señales contextuales inherentes a las interacciones GUI sin necesidad de anotaciones humanas. Luego, en la Etapa 2, empleamos una pequeña cantidad de datos de alta calidad para calibrar el modelo mediante aprendizaje por refuerzo. Los experimentos muestran que GUICrafter alcanza un rendimiento competitivo, o incluso superior, al de sistemas avanzados como UI-TARS, utilizando solo el 0.1% de sus datos. Además, bajo la misma cantidad de datos anotados, GUICrafter supera a todos los métodos anteriores, como GUI-R1. El código, los datos y los modelos están disponibles en https://github.com/fansunqi/GUICrafter.

English

Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.