Doorlopende GUI-agenten

Samenvatting

Aangezien digitale omgevingen (datadistributie) voortdurend in beweging zijn, waarbij nieuwe GUI-gegevens in de tijd binnenkomen – wat nieuwe domeinen of resoluties introduceert – gaan de prestaties van agenten die op statische omgevingen zijn getraind achteruit. In dit werk introduceren we Continual GUI Agents, een nieuwe taak die GUI-agenten vereist om continu te leren onder veranderende domeinen en resoluties. Wij constateren dat bestaande methoden falen in het handhaven van stabiele positionering naarmate GUI-distributies in de tijd verschuiven, vanwege de diversiteit aan UI-interactiepunten en -regio's in fluctuerende scenario's. Om dit aan te pakken, introduceren wij GUI-Anchoring in Flux (GUI-AiF), een nieuw reinforcement fine-tuning raamwerk dat continu leren stabiliseert door middel van twee nieuwe beloningen: Anchoring Point Reward in Flux (APR-iF) en Anchoring Region Reward in Flux (ARR-iF). Deze beloningen sturen de agenten aan om zich af te stemmen op verschuivende interactiepunten en -regio's, waardoor de neiging van bestaande beloningsstrategieën om zich te veel aan te passen aan statische positioneringssignalen (zoals vaste coördinaten of elementschalen) wordt verminderd. Uitgebreide experimenten tonen aan dat GUI-AiF state-of-the-art baseline-methoden overtreft. Ons werk vestigt het eerste continu-leren raamwerk voor GUI-agenten en onthult het onbenutte potentieel van reinforcement fine-tuning voor continu lerende GUI-agenten.

English

As digital environments (data distribution) are in flux, with new GUI data arriving over time-introducing new domains or resolutions-agents trained on static environments deteriorate in performance. In this work, we introduce Continual GUI Agents, a new task that requires GUI agents to perform continual learning under shifted domains and resolutions. We find existing methods fail to maintain stable grounding as GUI distributions shift over time, due to the diversity of UI interaction points and regions in fluxing scenarios. To address this, we introduce GUI-Anchoring in Flux (GUI-AiF), a new reinforcement fine-tuning framework that stabilizes continual learning through two novel rewards: Anchoring Point Reward in Flux (APR-iF) and Anchoring Region Reward in Flux (ARR-iF). These rewards guide the agents to align with shifting interaction points and regions, mitigating the tendency of existing reward strategies to over-adapt to static grounding cues (e.g., fixed coordinates or element scales). Extensive experiments show GUI-AiF surpasses state-of-the-art baselines. Our work establishes the first continual learning framework for GUI agents, revealing the untapped potential of reinforcement fine-tuning for continual GUI Agents.