GUICrafter: Schwach überwachter GUI-Agent unter Nutzung massiver unannotierter Screenshots

Zusammenfassung

Daten als grundlegendes Substrat moderner Intelligenz haben die Entwicklung aktueller Foundation-Modelle maßgeblich vorangetrieben. Naturgemäß versuchen Forscher, dieses Paradigma auf den Bereich der GUI-Agenten auszuweiten, in der Hoffnung, durch ein ähnliches Vorgehen leistungsstarke GUI-Agenten aufzubauen. Allerdings können GUI-Agenten-Daten nicht direkt aus dem Internet gewonnen werden, was ihre Erhebung in großem Maßstab kostspielig und schwierig macht. Infolgedessen leiden aktuelle GUI-Agenten unter einer schlechten geräteübergreifenden Generalisierung und einer eingeschränkten Fähigkeit zur visuellen Verankerung feinkörniger GUI-Elemente. Als Versuch, die Datenherausforderung bei GUI-Agenten zu bewältigen, schlagen wir GUICrafter vor, einen schwach überwachten GUI-Agenten, der massenhaft unannotierte Screenshots nutzt, um die Abhängigkeit von teuren menschlichen Annotationen erheblich zu reduzieren. GUICrafter erforscht ein Curriculum-Learning-Framework zum Training von GUI-Agenten in zwei aufeinanderfolgenden Phasen. Zunächst erlernt das Modell die visuelle Verankerung anhand von großflächig unannotierten Screenshots und Webseiten, wobei die reichen kontextuellen Signale genutzt werden, die GUI-Interaktionen ohne menschliche Annotationen innewohnen. In Phase 2 nutzen wir dann eine kleine Menge hochwertiger Daten, um das Modell mittels Bestärkendem Lernen zu kalibrieren. Experimente zeigen, dass GUICrafter eine mit fortgeschrittenen Systemen wie UI-TARS vergleichbare oder sogar überlegene Leistung erzielt, während es nur 0,1 % von deren Daten verwendet. Darüber hinaus übertrifft GUICrafter unter gleicher Menge annotierter Daten alle bisherigen Methoden wie GUI-R1. Code, Daten und Modelle sind verfügbar unter https://github.com/fansunqi/GUICrafter.

English

Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.