ANCHOR: Generazione di Dati Punti di Rami per Agenti GUI
ANCHOR: Branch-Point Data Generation for GUI Agents
February 6, 2026
Autori: Jinbiao Wei, Yilun Zhao, Kangqi Ni, Arman Cohan
cs.AI
Abstract
Gli agenti GUI end-to-end per ambienti desktop reali richiedono grandi quantità di dati di interazione di alta qualità, ma la raccolta di dimostrazioni umane è costosa e le pipeline sintetiche esistenti spesso soffrono di una limitata diversità di compiti o di traiettorie rumorose e soggette a deriva degli obiettivi. Presentiamo Anchor, un framework di espansione delle traiettorie che avvia una supervisione desktop scalabile a partire da un piccolo insieme di dimostrazioni seed verificate. Partendo da ogni seed, identifichiamo punti di diramazione che corrispondono a cambiamenti di stato significativi e proponiamo nuove varianti di compiti, ancorate allo stato, condizionate dal contesto GUI corrente. Un agente esecutivo segue poi le istruzioni proposte per generare nuove traiettorie, mentre un verificatore impone il completamento del compito tramite controlli consapevoli dello stato e una coerenza a livello di traiettoria. Per migliorare la qualità della supervisione, applichiamo ulteriormente un filtraggio a livello di passo, condizionato dal compito, per rimuovere azioni non ancorate e ripulire i segmenti successivi alla diramazione per mantenere un'intento coerente. Esperimenti su benchmark desktop standard, OSWorld e WindowsAgentArena, mostrano che i modelli addestrati sul nostro corpus espanso ottengono miglioramenti consistenti rispetto ad agenti zero-shot e baseline sintetiche rappresentative, e generalizzano attraverso applicazioni e sistemi operativi.
English
End-to-end GUI agents for real desktop environments require large amounts of high-quality interaction data, yet collecting human demonstrations is expensive and existing synthetic pipelines often suffer from limited task diversity or noisy, goal-drifting trajectories. We present a trajectory expansion framework Anchor that bootstraps scalable desktop supervision from a small set of verified seed demonstrations. Starting from each seed, we identify branch points that correspond to meaningful state changes and propose new, state-grounded task variants conditioned on the current GUI context. An executing agent then follows the proposed instructions to generate new trajectories, while a verifier enforces task completion via state-aware checks and trajectory-level consistency. To improve supervision quality, we further apply task-conditioned step-level filtering to remove ungrounded actions and denoise post-branch segments to maintain coherent intent. Experiments on standard desktop benchmarks, OSWorld and WindowsAgentArena, show that models fine-tuned on our expanded corpus achieve consistent improvements over zero-shot agents and representative synthesis baselines, and generalize across applications and operating systems.