ANCHOR: Erzeugung von Verzweigungspunktdaten für GUI-Agenten
ANCHOR: Branch-Point Data Generation for GUI Agents
February 6, 2026
papers.authors: Jinbiao Wei, Yilun Zhao, Kangqi Ni, Arman Cohan
cs.AI
papers.abstract
End-to-End-GUI-Agenten für echte Desktop-Umgebungen benötigen große Mengen hochwertiger Interaktionsdaten, doch die Erfassung menschlicher Demonstrationen ist kostspielig und bestehende synthetische Pipelines leiden oft unter begrenzter Aufgabenvielfalt oder verrauschten, zieldriftenden Trajektorien. Wir stellen ein Trajektorienerweiterungsframework namens Anchor vor, das skalierbare Desktop-Überwachung aus einer kleinen Menge verifizierter Seed-Demonstrationen bootstrappt. Ausgehend von jedem Seed identifizieren wir Verzweigungspunkte, die bedeutungsvollen Zustandsänderungen entsprechen, und schlagen neue, zustandsbasierte Aufgabenvarianten vor, die auf den aktuellen GUI-Kontext konditioniert sind. Ein ausführender Agent folgt dann den vorgeschlagenen Anweisungen, um neue Trajektorien zu generieren, während ein Verifizierer die Aufgabenabschlüsse durch zustandsbewusste Prüfungen und Trajektorienkonsistenz durchsetzt. Um die Überwachungsqualität zu verbessern, wenden wir zusätzlich eine aufgabenkonditionierte, schrittweise Filterung an, um unbegründete Aktionen zu entfernen, und entrauschen Nachverzweigungssegmente, um kohärente Absichten beizubehalten. Experimente auf standardisierten Desktop-Benchmarks, OSWorld und WindowsAgentArena, zeigen, dass Modelle, die auf unserem erweiterten Korpus feinabgestimmt wurden, konsistente Verbesserungen gegenüber Zero-Shot-Agenten und repräsentativen Synthese-Baselines erzielen und über Anwendungen und Betriebssysteme hinweg generalisieren.
English
End-to-end GUI agents for real desktop environments require large amounts of high-quality interaction data, yet collecting human demonstrations is expensive and existing synthetic pipelines often suffer from limited task diversity or noisy, goal-drifting trajectories. We present a trajectory expansion framework Anchor that bootstraps scalable desktop supervision from a small set of verified seed demonstrations. Starting from each seed, we identify branch points that correspond to meaningful state changes and propose new, state-grounded task variants conditioned on the current GUI context. An executing agent then follows the proposed instructions to generate new trajectories, while a verifier enforces task completion via state-aware checks and trajectory-level consistency. To improve supervision quality, we further apply task-conditioned step-level filtering to remove ungrounded actions and denoise post-branch segments to maintain coherent intent. Experiments on standard desktop benchmarks, OSWorld and WindowsAgentArena, show that models fine-tuned on our expanded corpus achieve consistent improvements over zero-shot agents and representative synthesis baselines, and generalize across applications and operating systems.