지속적 GUI 에이전트

초록

디지털 환경(데이터 분포)은 새로운 GUI 데이터가 시간에 따라 지속적으로 유입되며 새로운 도메인이나 해상도를 도입함에 따라 끊임없이 변화한다. 이로 인해 정적 환경에서 훈련된 에이전트의 성능이 저하된다. 본 연구에서는 GUI 에이전트가 변화하는 도메인과 해상도 하에서 지속 학습을 수행해야 하는 새로운 과제인 Continual GUI Agents를 소개한다. 우리는 변화하는 시나리오에서 UI 상호작용 포인트와 영역의 다양성으로 인해 GUI 분포가 변화함에 따라 기존 방법들이 안정적인 기반 유지에 실패함을 발견했다. 이를 해결하기 위해 우리는 두 가지 새로운 보상, 즉 변화 속 앵커링 포인트 보상(APR-iF)과 변화 속 앵커링 영역 보상(ARR-iF)을 통해 지속 학습을 안정화하는 새로운 강화 미세 조정 프레임워크인 GUI-Anchoring in Flux(GUI-AiF)를 제안한다. 이러한 보상은 에이전트가 변화하는 상호작용 포인트와 영역에 정렬하도록 유도하여, 기존 보상 전략이 고정된 좌표나 요소 크기와 같은 정적 기반 신호에 과도하게 적응하는 경향을 완화한다. 폭넓은 실험을 통해 GUI-AiF가 최신 기준선을 능가함을 입증했다. 본 연구는 GUI 에이전트를 위한 최초의 지속 학습 프레임워크를 확립하며, 지속적 GUI 에이전트를 위한 강화 미세 조정의 잠재력을 밝혀낸다.

English

As digital environments (data distribution) are in flux, with new GUI data arriving over time-introducing new domains or resolutions-agents trained on static environments deteriorate in performance. In this work, we introduce Continual GUI Agents, a new task that requires GUI agents to perform continual learning under shifted domains and resolutions. We find existing methods fail to maintain stable grounding as GUI distributions shift over time, due to the diversity of UI interaction points and regions in fluxing scenarios. To address this, we introduce GUI-Anchoring in Flux (GUI-AiF), a new reinforcement fine-tuning framework that stabilizes continual learning through two novel rewards: Anchoring Point Reward in Flux (APR-iF) and Anchoring Region Reward in Flux (ARR-iF). These rewards guide the agents to align with shifting interaction points and regions, mitigating the tendency of existing reward strategies to over-adapt to static grounding cues (e.g., fixed coordinates or element scales). Extensive experiments show GUI-AiF surpasses state-of-the-art baselines. Our work establishes the first continual learning framework for GUI agents, revealing the untapped potential of reinforcement fine-tuning for continual GUI Agents.