Agents d'Interface Graphique Continue

papers.abstract

Les environnements numériques (distribution des données) étant en constante évolution, avec l'arrivée continue de nouvelles données d'interface graphique introduisant de nouveaux domaines ou résolutions, les agents entraînés sur des environnements statiques voient leurs performances se dégrader. Dans ce travail, nous introduisons les Agents d'Interface Graphique Continue, une nouvelle tâche qui exige que les agents d'interface graphique réalisent un apprentissage continu face à des domaines et des résolutions changeants. Nous constatons que les méthodes existantes échouent à maintenir un ancrage stable lorsque les distributions d'interface graphique évoluent au fil du temps, en raison de la diversité des points d'interaction de l'interface utilisateur et des régions dans des scénarios fluctuants. Pour résoudre ce problème, nous introduisons l'Ancrage d'Interface Graphique en Flux (GUI-AiF), un nouveau cadre de réglage fin par renforcement qui stabilise l'apprentissage continu grâce à deux nouvelles récompenses : la Récompense de Point d'Ancrage en Flux (APR-iF) et la Récompense de Région d'Ancrage en Flux (ARR-iF). Ces récompenses guident les agents pour s'aligner sur les points et régions d'interaction changeants, atténuant la tendance des stratégies de récompense existantes à suradapter aux indices d'ancrage statiques (par exemple, les coordonnées fixes ou les échelles des éléments). Des expériences approfondies montrent que GUI-AiF surpasse les méthodes de référence de l'état de l'art. Notre travail établit le premier cadre d'apprentissage continu pour les agents d'interface graphique, révélant le potentiel inexploité du réglage fin par renforcement pour les Agents d'Interface Graphique Continue.

English

As digital environments (data distribution) are in flux, with new GUI data arriving over time-introducing new domains or resolutions-agents trained on static environments deteriorate in performance. In this work, we introduce Continual GUI Agents, a new task that requires GUI agents to perform continual learning under shifted domains and resolutions. We find existing methods fail to maintain stable grounding as GUI distributions shift over time, due to the diversity of UI interaction points and regions in fluxing scenarios. To address this, we introduce GUI-Anchoring in Flux (GUI-AiF), a new reinforcement fine-tuning framework that stabilizes continual learning through two novel rewards: Anchoring Point Reward in Flux (APR-iF) and Anchoring Region Reward in Flux (ARR-iF). These rewards guide the agents to align with shifting interaction points and regions, mitigating the tendency of existing reward strategies to over-adapt to static grounding cues (e.g., fixed coordinates or element scales). Extensive experiments show GUI-AiF surpasses state-of-the-art baselines. Our work establishes the first continual learning framework for GUI agents, revealing the untapped potential of reinforcement fine-tuning for continual GUI Agents.