ANCHOR: Generación de Datos de Puntos de Ramificación para Agentes de Interfaz Gráfica de Usuario

ANCHOR: Branch-Point Data Generation for GUI Agents

February 6, 2026

Autores: Jinbiao Wei, Yilun Zhao, Kangqi Ni, Arman Cohan

cs.AI

Resumen

Los agentes GUI de extremo a extremo para entornos de escritorio reales requieren grandes cantidades de datos de interacción de alta calidad; sin embargo, la recolección de demostraciones humanas es costosa y las canalizaciones sintéticas existentes a menudo adolecen de una diversidad de tareas limitada o trayectorias ruidosas con desviación del objetivo. Presentamos Anchor, un marco de expansión de trayectorias que genera supervisión de escritorio escalable a partir de un pequeño conjunto de demostraciones semilla verificadas. Partiendo de cada semilla, identificamos puntos de bifurcación que corresponden a cambios de estado significativos y proponemos nuevas variantes de tareas ancladas en el estado, condicionadas por el contexto GUI actual. Un agente ejecutor sigue luego las instrucciones propuestas para generar nuevas trayectorias, mientras que un verificador hace cumplir la finalización de la tarea mediante comprobaciones conscientes del estado y coherencia a nivel de trayectoria. Para mejorar la calidad de la supervisión, aplicamos además un filtrado a nivel de paso condicionado por la tarea para eliminar acciones no fundamentadas y eliminamos el ruido de los segmentos posteriores a la bifurcación para mantener una intención coherente. Los experimentos en benchmarks estándar de escritorio, OSWorld y WindowsAgentArena, muestran que los modelos ajustados con nuestro corpus expandido logran mejoras consistentes respecto a los agentes *zero-shot* y líneas base de síntesis representativas, y generalizan a través de aplicaciones y sistemas operativos.

English

End-to-end GUI agents for real desktop environments require large amounts of high-quality interaction data, yet collecting human demonstrations is expensive and existing synthetic pipelines often suffer from limited task diversity or noisy, goal-drifting trajectories. We present a trajectory expansion framework Anchor that bootstraps scalable desktop supervision from a small set of verified seed demonstrations. Starting from each seed, we identify branch points that correspond to meaningful state changes and propose new, state-grounded task variants conditioned on the current GUI context. An executing agent then follows the proposed instructions to generate new trajectories, while a verifier enforces task completion via state-aware checks and trajectory-level consistency. To improve supervision quality, we further apply task-conditioned step-level filtering to remove ungrounded actions and denoise post-branch segments to maintain coherent intent. Experiments on standard desktop benchmarks, OSWorld and WindowsAgentArena, show that models fine-tuned on our expanded corpus achieve consistent improvements over zero-shot agents and representative synthesis baselines, and generalize across applications and operating systems.