Непрерывные агенты с графическим интерфейсом пользователя

Аннотация

Поскольку цифровые среды (распределение данных) находятся в постоянном изменении, а новые данные графического интерфейса поступают со временем — вводя новые домены или разрешения — агенты, обученные на статических средах, демонстрируют ухудшение производительности. В данной работе мы представляем задачу Continual GUI Agents, которая требует от агентов графического интерфейса способности к непрерывному обучению в условиях смещающихся доменов и разрешений. Мы обнаружили, что существующие методы не способны сохранять стабильную привязку к элементам интерфейса по мере изменения распределений GUI из-за разнообразия точек и областей взаимодействия в динамичных сценариях. Для решения этой проблемы мы предлагаем GUI-Anchoring in Flux (GUI-AiF) — новую архитектуру тонкой настройки с подкреплением, которая стабилизирует непрерывное обучение за счёт двух новых видов вознаграждений: Anchoring Point Reward in Flux (APR-iF) и Anchoring Region Reward in Flux (ARR-iF). Эти вознаграждения направляют агентов на согласование со смещающимися точками и областями взаимодействия, снижая склонность существующих стратегий вознаграждения к избыточной адаптации к статичным ориентирам (например, фиксированным координатам или масштабам элементов). Многочисленные эксперименты показывают, что GUI-AiF превосходит современные базовые методы. Наша работа создаёт первую архитектуру непрерывного обучения для агентов графического интерфейса, раскрывая нереализованный потенциал тонкой настройки с подкреплением для continual GUI Agents.

English

As digital environments (data distribution) are in flux, with new GUI data arriving over time-introducing new domains or resolutions-agents trained on static environments deteriorate in performance. In this work, we introduce Continual GUI Agents, a new task that requires GUI agents to perform continual learning under shifted domains and resolutions. We find existing methods fail to maintain stable grounding as GUI distributions shift over time, due to the diversity of UI interaction points and regions in fluxing scenarios. To address this, we introduce GUI-Anchoring in Flux (GUI-AiF), a new reinforcement fine-tuning framework that stabilizes continual learning through two novel rewards: Anchoring Point Reward in Flux (APR-iF) and Anchoring Region Reward in Flux (ARR-iF). These rewards guide the agents to align with shifting interaction points and regions, mitigating the tendency of existing reward strategies to over-adapt to static grounding cues (e.g., fixed coordinates or element scales). Extensive experiments show GUI-AiF surpasses state-of-the-art baselines. Our work establishes the first continual learning framework for GUI agents, revealing the untapped potential of reinforcement fine-tuning for continual GUI Agents.