ANCHOR: GUIエージェントのための分岐点データ生成

要旨

実世界のデスクトップ環境におけるエンドツーエンドGUIエージェントの構築には、大量の高品質なインタラクションデータが必要とされる。しかし、人間による実演データの収集はコストが高く、既存の合成データ生成パイプラインは、タスク多様性の不足やノイズの多い目標から逸脱した軌道といった課題を抱えている。本研究では、少数の検証済みシード実演からスケーラブルなデスクトップ操作データを効率的に生成する軌道拡張フレームワーク「Anchor」を提案する。各シード軌道から出発し、意味のある状態変化に対応する分岐点を特定し、現在のGUIコンテキストに基づいた新たな状態に根ざしたタスク変種を提案する。実行エージェントは提案された指示に従って新たな軌道を生成し、検証器は状態を意識したチェックと軌道レベルの一貫性を通じてタスク完了を保証する。教師データの品質向上のために、タスク条件付きのステップレベルフィルタリングを適用して根拠のない行動を除去し、分岐後のセグメントをノイズ除去して意図の一貫性を維持する。標準的なデスクトップベンチマーク（OSWorldおよびWindowsAgentArena）における実験結果から、本フレームワークで拡張したデータでファインチューニングしたモデルは、ゼロショットエージェントや代表的な合成ベースラインを一貫して上回り、様々なアプリケーションやオペレーティングシステムに汎化することを示す。

English

End-to-end GUI agents for real desktop environments require large amounts of high-quality interaction data, yet collecting human demonstrations is expensive and existing synthetic pipelines often suffer from limited task diversity or noisy, goal-drifting trajectories. We present a trajectory expansion framework Anchor that bootstraps scalable desktop supervision from a small set of verified seed demonstrations. Starting from each seed, we identify branch points that correspond to meaningful state changes and propose new, state-grounded task variants conditioned on the current GUI context. An executing agent then follows the proposed instructions to generate new trajectories, while a verifier enforces task completion via state-aware checks and trajectory-level consistency. To improve supervision quality, we further apply task-conditioned step-level filtering to remove ungrounded actions and denoise post-branch segments to maintain coherent intent. Experiments on standard desktop benchmarks, OSWorld and WindowsAgentArena, show that models fine-tuned on our expanded corpus achieve consistent improvements over zero-shot agents and representative synthesis baselines, and generalize across applications and operating systems.

ANCHOR: GUIエージェントのための分岐点データ生成

ANCHOR: Branch-Point Data Generation for GUI Agents

要旨

Support