ANCHOR: Generatie van Vertakkingspuntgegevens voor GUI-agenten

ANCHOR: Branch-Point Data Generation for GUI Agents

February 6, 2026

Auteurs: Jinbiao Wei, Yilun Zhao, Kangqi Ni, Arman Cohan

cs.AI

Samenvatting

End-to-end GUI-agents voor echte desktopomgevingen vereisen grote hoeveelheden hoogwaardige interactiedata, maar het verzamelen van menselijke demonstraties is kostbaar en bestaande synthetische pijplijnen kampen vaak met beperkte taakdiversiteit of ruisige, doeldriftende trajecten. Wij presenteren een trajectuitbreidingsraamwerk genaamd Anchor dat schaalbare desktop-supervisie bootstrapt vanuit een kleine set geverifieerde seed-demonstraties. Uitgaande van elke seed identificeren we vertakkingspunten die overeenkomen met betekenisvolle staatsovergangen en stellen we nieuwe, op de staat gegronde taakvarianten voor, geconditioneerd op de huidige GUI-context. Een uitvoerende agent volgt vervolgens de voorgestelde instructies om nieuwe trajecten te genereren, terwijl een verifier de taakvoltooiing afdwingt via staatbewuste controles en trajectconsistentie. Om de kwaliteit van de supervisie te verbeteren, passen we verder stapgefiltering toe, geconditioneerd op de taak, om ongegronde acties te verwijderen en ontruisen we post-vertakkingssegmenten om coherente intentie te behouden. Experimenten op standaard desktop benchmarks, OSWorld en WindowsAgentArena, tonen aan dat modellen die zijn verfijnd op onze uitgebreide corpus consistente verbeteringen behalen ten opzichte van zero-shot agents en representatieve synthese-baselines, en generaliseren over applicaties en besturingssystemen heen.

English

End-to-end GUI agents for real desktop environments require large amounts of high-quality interaction data, yet collecting human demonstrations is expensive and existing synthetic pipelines often suffer from limited task diversity or noisy, goal-drifting trajectories. We present a trajectory expansion framework Anchor that bootstraps scalable desktop supervision from a small set of verified seed demonstrations. Starting from each seed, we identify branch points that correspond to meaningful state changes and propose new, state-grounded task variants conditioned on the current GUI context. An executing agent then follows the proposed instructions to generate new trajectories, while a verifier enforces task completion via state-aware checks and trajectory-level consistency. To improve supervision quality, we further apply task-conditioned step-level filtering to remove ungrounded actions and denoise post-branch segments to maintain coherent intent. Experiments on standard desktop benchmarks, OSWorld and WindowsAgentArena, show that models fine-tuned on our expanded corpus achieve consistent improvements over zero-shot agents and representative synthesis baselines, and generalize across applications and operating systems.