Agentes de Interface Gráfica Contínua

Resumo

Como os ambientes digitais (distribuição de dados) estão em constante mudança, com novos dados de interface gráfica chegando ao longo do tempo - introduzindo novos domínios ou resoluções - os agentes treinados em ambientes estáticos sofrem deterioração de desempenho. Neste trabalho, introduzimos os Agentes de IGU Contínuos, uma nova tarefa que requer que agentes de IGU realizem aprendizado contínuo sob domínios e resoluções em mudança. Descobrimos que os métodos existentes falham em manter uma ancoragem estável conforme as distribuições de IGU mudam ao longo do tempo, devido à diversidade de pontos e regiões de interação da interface do usuário em cenários flutuantes. Para resolver isso, introduzimos a Ancoragem de IGU em Fluxo (GUI-AiF), uma nova estrutura de ajuste fino por reforço que estabiliza o aprendizado contínuo através de duas novas recompensas: Recompensa de Ponto de Ancoragem em Fluxo (APR-iF) e Recompensa de Região de Ancoragem em Fluxo (ARR-iF). Essas recompensas orientam os agentes a se alinharem com pontos e regiões de interação em mudança, mitigando a tendência das estratégias de recompensa existentes de superadaptarem-se a pistas de ancoragem estáticas (por exemplo, coordenadas fixas ou escalas de elementos). Experimentos extensivos mostram que o GUI-AiF supera os baselines state-of-the-art. Nosso trabalho estabelece a primeira estrutura de aprendizado contínuo para agentes de IGU, revelando o potencial inexplorado do ajuste fino por reforço para Agentes de IGU Contínuos.

English

As digital environments (data distribution) are in flux, with new GUI data arriving over time-introducing new domains or resolutions-agents trained on static environments deteriorate in performance. In this work, we introduce Continual GUI Agents, a new task that requires GUI agents to perform continual learning under shifted domains and resolutions. We find existing methods fail to maintain stable grounding as GUI distributions shift over time, due to the diversity of UI interaction points and regions in fluxing scenarios. To address this, we introduce GUI-Anchoring in Flux (GUI-AiF), a new reinforcement fine-tuning framework that stabilizes continual learning through two novel rewards: Anchoring Point Reward in Flux (APR-iF) and Anchoring Region Reward in Flux (ARR-iF). These rewards guide the agents to align with shifting interaction points and regions, mitigating the tendency of existing reward strategies to over-adapt to static grounding cues (e.g., fixed coordinates or element scales). Extensive experiments show GUI-AiF surpasses state-of-the-art baselines. Our work establishes the first continual learning framework for GUI agents, revealing the untapped potential of reinforcement fine-tuning for continual GUI Agents.