Agenti GUI Continui

Abstract

Poiché gli ambienti digitali (distribuzione dei dati) sono in continua evoluzione, con nuovi dati GUI che arrivano nel tempo - introducendo nuovi domini o risoluzioni - gli agenti addestrati su ambienti statici vedono un deterioramento delle prestazioni. In questo lavoro, introduciamo gli Agenti GUI Continui, un nuovo compito che richiede agli agenti GUI di effettuare apprendimento continuo sotto domini e risoluzioni variabili. Rileviamo che i metodi esistenti non riescono a mantenere un ancoraggio stabile man mano che le distribuzioni GUI cambiano nel tempo, a causa della diversità dei punti e delle regioni di interazione dell'interfaccia utente negli scenari fluttuanti. Per affrontare questo problema, introduciamo GUI-Anchoring in Flux (GUI-AiF), un nuovo framework di fine-tuning per rinforzo che stabilizza l'apprendimento continuo attraverso due nuove ricompense: Anchoring Point Reward in Flux (APR-iF) e Anchoring Region Reward in Flux (ARR-iF). Queste ricompense guidano gli agenti ad allinearsi con i punti e le regioni di interazione in cambiamento, mitigando la tendenza delle strategie di ricompensa esistenti a iperadattarsi a segnali di ancoraggio statici (ad es., coordinate fisse o scale degli elementi). Esperimenti estensivi mostrano che GUI-AiF supera i baseline state-of-the-art. Il nostro lavoro stabilisce il primo framework di apprendimento continuo per agenti GUI, rivelando il potenziale inesplorato del fine-tuning per rinforzo per gli Agenti GUI Continui.

English

As digital environments (data distribution) are in flux, with new GUI data arriving over time-introducing new domains or resolutions-agents trained on static environments deteriorate in performance. In this work, we introduce Continual GUI Agents, a new task that requires GUI agents to perform continual learning under shifted domains and resolutions. We find existing methods fail to maintain stable grounding as GUI distributions shift over time, due to the diversity of UI interaction points and regions in fluxing scenarios. To address this, we introduce GUI-Anchoring in Flux (GUI-AiF), a new reinforcement fine-tuning framework that stabilizes continual learning through two novel rewards: Anchoring Point Reward in Flux (APR-iF) and Anchoring Region Reward in Flux (ARR-iF). These rewards guide the agents to align with shifting interaction points and regions, mitigating the tendency of existing reward strategies to over-adapt to static grounding cues (e.g., fixed coordinates or element scales). Extensive experiments show GUI-AiF surpasses state-of-the-art baselines. Our work establishes the first continual learning framework for GUI agents, revealing the untapped potential of reinforcement fine-tuning for continual GUI Agents.