漸進的難易度向上メカニズムを備えたウェブエージェントのためのエージェンシックデータの合成

Synthesizing Agentic Data for Web Agents with Progressive Difficulty Enhancement Mechanisms

October 15, 2025

著者: Shrey Pandit, Xuan-Phi Nguyen, Yifei Ming, Austin Xu, Jiayu Wang, Caiming Xiong, Shafiq Joty

cs.AI

要旨

ウェブベースの「深層研究」エージェントは、オンラインツールとの長期的な相互作用を通じて、複雑な質問応答タスクを解決することを目指している。これらのタスクは依然として困難であり、基盤となる言語モデルが長期的な推論と探索に最適化されていないことがその理由である。これまでの研究では、知識グラフを活用した指示チューニングデータセットの構築ワークフローが提案されてきた。しかし、そのような方法は通常、難易度と品質に対する細かい制御が欠けており、長期的な推論に必要な複雑さを捉えるには不十分な合成データを生成する。さらに、多くの研究では、異なる最適化レシピで訓練されたモデルを比較することで、データと訓練効果を混同しており、データ自体の有効性を分離して評価することが困難である。我々は、タスクの複雑さを段階的に増加させ、フロンティアベースラインのウェブエージェントが失敗するまで質問-回答ペアを生成する二段階のデータ合成パイプラインを導入する。このプロセスにおいて、ベースラインエージェントは複数の役割を果たす：質問を試みる、事実性を検証する、代替回答をチェックする、フィルタリングを実施する。我々の合成方法の有効性を評価するために、強力なウェブエージェントからの蒸餾に基づく制御された訓練セットアップを採用する。複数のウェブベースのベンチマークでの実験結果は、我々のデータセットが既存のデータセットよりも小規模であるにもかかわらず、より効果的なウェブエージェントの訓練を可能にすることを示している。特に、我々のデータはツール使用アクションの多様性が2倍であり、それに基づいて訓練されたモデルが反復的なツール呼び出し行動を回避しながら、より強力な性能を達成することを可能にする。

English

Web-based 'deep research' agents aim to solve complex question - answering tasks through long-horizon interactions with online tools. These tasks remain challenging, as the underlying language models are often not optimized for long-horizon reasoning and exploration. Prior work has proposed workflows for constructing instruction-tuning datasets, often leveraging knowledge graphs. However, such methods typically lack fine-grained control over difficulty and quality, yielding synthetic data that falls short of capturing the complexity required for long-horizon reasoning. Furthermore, many studies conflate data and training effects by comparing models trained under different optimization recipes, making it difficult to isolate and evaluate the effectiveness of the data itself. We introduce a two-pronged data synthesis pipeline that generates question - answer pairs by progressively increasing task complexity until a frontier baseline web agent fails. The baseline agent plays multiple roles in this process: attempting the questions, validating factuality, checking for alternative answers, and enforcing filtering. To evaluate the effectiveness of our synthesis methods, we adopt a controlled training setup based on distillation from strong web agents. Experiments across multiple web-based benchmarks show that our dataset - despite being smaller - enables the training of more effective web agents than existing datasets. In particular, our data exhibits twice the diversity in tool-use actions, allowing models trained on it to achieve stronger performance while avoiding repetitive tool-calling behaviors.