Fortlaufende GUI-Agenten

papers.abstract

Da digitale Umgebungen (Datenverteilung) im Fluss sind und im Laufe der Zeit neue GUI-Daten eintreffen – was neue Domänen oder Auflösungen einführt – verschlechtert sich die Leistung von Agenten, die auf statischen Umgebungen trainiert wurden. In dieser Arbeit stellen wir Continual GUI Agents vor, eine neue Aufgabe, die von GUI-Agenten kontinuierliches Lernen unter sich ändernden Domänen und Auflösungen erfordert. Wir stellen fest, dass bestehende Methoden keine stabile Verankerung (Grounding) aufrechterhalten können, wenn sich die GUI-Verteilungen über die Zeit verschieben, was auf die Vielfalt der UI-Interaktionspunkte und -regionen in fluktuierenden Szenarien zurückzuführen ist. Um dieses Problem zu lösen, führen wir GUI-Anchoring in Flux (GUI-AiF) ein, ein neues Reinforcement-Fine-Tuning-Framework, das kontinuierliches Lernen durch zwei neuartige Belohnungen stabilisiert: Anchoring Point Reward in Flux (APR-iF) und Anchoring Region Reward in Flux (ARR-iF). Diese Belohnungen leiten die Agenten an, sich an sich verschiebende Interaktionspunkte und -regionen anzupassen und mildern so die Tendenz bestehender Belohnungsstrategien, sich zu stark an statischen Verankerungshinweisen (z.B. festen Koordinaten oder Elementgrößen) zu orientieren. Umfangreiche Experimente zeigen, dass GUI-AiF state-of-the-art Baseline-Methoden übertrifft. Unsere Arbeit etabliert das erste Framework für kontinuierliches Lernen für GUI-Agenten und zeigt das ungenutzte Potenzial von Reinforcement Fine-Tuning für kontinuierlich lernende GUI-Agenten auf.

English

As digital environments (data distribution) are in flux, with new GUI data arriving over time-introducing new domains or resolutions-agents trained on static environments deteriorate in performance. In this work, we introduce Continual GUI Agents, a new task that requires GUI agents to perform continual learning under shifted domains and resolutions. We find existing methods fail to maintain stable grounding as GUI distributions shift over time, due to the diversity of UI interaction points and regions in fluxing scenarios. To address this, we introduce GUI-Anchoring in Flux (GUI-AiF), a new reinforcement fine-tuning framework that stabilizes continual learning through two novel rewards: Anchoring Point Reward in Flux (APR-iF) and Anchoring Region Reward in Flux (ARR-iF). These rewards guide the agents to align with shifting interaction points and regions, mitigating the tendency of existing reward strategies to over-adapt to static grounding cues (e.g., fixed coordinates or element scales). Extensive experiments show GUI-AiF surpasses state-of-the-art baselines. Our work establishes the first continual learning framework for GUI agents, revealing the untapped potential of reinforcement fine-tuning for continual GUI Agents.