Agentes GUI Continuos

Resumen

Dado que los entornos digitales (distribución de datos) están en constante cambio, con nuevos datos de interfaz gráfica de usuario (GUI) que llegan con el tiempo —introduciendo nuevos dominios o resoluciones—, los agentes entrenados en entornos estáticos experimentan un deterioro en su rendimiento. En este trabajo, presentamos Agentes GUI Continuos, una nueva tarea que requiere que los agentes GUI realicen aprendizaje continuo bajo dominios y resoluciones cambiantes. Encontramos que los métodos existentes fallan en mantener una anclaje estable a medida que las distribuciones de GUI cambian con el tiempo, debido a la diversidad de puntos y regiones de interacción de la interfaz de usuario en escenarios fluctuantes. Para abordar esto, introducimos Anclaje GUI en Flujo (GUI-AiF), un nuevo marco de ajuste fino por refuerzo que estabiliza el aprendizaje continuo mediante dos recompensas novedosas: Recompensa de Punto de Anclaje en Flujo (APR-iF) y Recompensa de Región de Anclaje en Flujo (ARR-iF). Estas recompensas guían a los agentes para alinearse con puntos y regiones de interacción cambiantes, mitigando la tendencia de las estrategias de recompensa existentes a sobreadaptarse a claves de anclaje estáticas (por ejemplo, coordenadas fijas o escalas de elementos). Experimentos exhaustivos muestran que GUI-AiF supera a los métodos de referencia más avanzados. Nuestro trabajo establece el primer marco de aprendizaje continuo para agentes GUI, revelando el potencial no explotado del ajuste fino por refuerzo para Agentes GUI Continuos.

English

As digital environments (data distribution) are in flux, with new GUI data arriving over time-introducing new domains or resolutions-agents trained on static environments deteriorate in performance. In this work, we introduce Continual GUI Agents, a new task that requires GUI agents to perform continual learning under shifted domains and resolutions. We find existing methods fail to maintain stable grounding as GUI distributions shift over time, due to the diversity of UI interaction points and regions in fluxing scenarios. To address this, we introduce GUI-Anchoring in Flux (GUI-AiF), a new reinforcement fine-tuning framework that stabilizes continual learning through two novel rewards: Anchoring Point Reward in Flux (APR-iF) and Anchoring Region Reward in Flux (ARR-iF). These rewards guide the agents to align with shifting interaction points and regions, mitigating the tendency of existing reward strategies to over-adapt to static grounding cues (e.g., fixed coordinates or element scales). Extensive experiments show GUI-AiF surpasses state-of-the-art baselines. Our work establishes the first continual learning framework for GUI agents, revealing the untapped potential of reinforcement fine-tuning for continual GUI Agents.