Synthétiser des données agentiques pour les agents web avec des mécanismes d'augmentation progressive de la difficulté

Synthesizing Agentic Data for Web Agents with Progressive Difficulty Enhancement Mechanisms

October 15, 2025

papers.authors: Shrey Pandit, Xuan-Phi Nguyen, Yifei Ming, Austin Xu, Jiayu Wang, Caiming Xiong, Shafiq Joty

cs.AI

papers.abstract

Les agents de « recherche approfondie » basés sur le web visent à résoudre des tâches complexes de question-réponse grâce à des interactions à long terme avec des outils en ligne. Ces tâches restent difficiles, car les modèles de langage sous-jacents ne sont souvent pas optimisés pour le raisonnement et l'exploration à long terme. Les travaux antérieurs ont proposé des workflows pour construire des ensembles de données d'ajustement par instruction, en s'appuyant souvent sur des graphes de connaissances. Cependant, ces méthodes manquent généralement de contrôle fin sur la difficulté et la qualité, produisant des données synthétiques qui ne parviennent pas à capturer la complexité nécessaire au raisonnement à long terme. De plus, de nombreuses études confondent les effets des données et de l'entraînement en comparant des modèles formés selon différentes recettes d'optimisation, ce qui rend difficile l'isolation et l'évaluation de l'efficacité des données elles-mêmes. Nous introduisons un pipeline de synthèse de données à deux volets qui génère des paires question-réponse en augmentant progressivement la complexité des tâches jusqu'à ce qu'un agent web de référence échoue. Cet agent de référence joue plusieurs rôles dans ce processus : tenter de répondre aux questions, valider la factualité, vérifier les réponses alternatives et appliquer des filtres. Pour évaluer l'efficacité de nos méthodes de synthèse, nous adoptons un cadre d'entraînement contrôlé basé sur la distillation à partir d'agents web performants. Les expériences menées sur plusieurs benchmarks web montrent que notre ensemble de données – bien que plus petit – permet d'entraîner des agents web plus efficaces que les ensembles de données existants. En particulier, nos données présentent une diversité deux fois plus grande dans les actions d'utilisation d'outils, permettant aux modèles formés sur celles-ci d'obtenir de meilleures performances tout en évitant les comportements répétitifs d'appel d'outils.

English

Web-based 'deep research' agents aim to solve complex question - answering tasks through long-horizon interactions with online tools. These tasks remain challenging, as the underlying language models are often not optimized for long-horizon reasoning and exploration. Prior work has proposed workflows for constructing instruction-tuning datasets, often leveraging knowledge graphs. However, such methods typically lack fine-grained control over difficulty and quality, yielding synthetic data that falls short of capturing the complexity required for long-horizon reasoning. Furthermore, many studies conflate data and training effects by comparing models trained under different optimization recipes, making it difficult to isolate and evaluate the effectiveness of the data itself. We introduce a two-pronged data synthesis pipeline that generates question - answer pairs by progressively increasing task complexity until a frontier baseline web agent fails. The baseline agent plays multiple roles in this process: attempting the questions, validating factuality, checking for alternative answers, and enforcing filtering. To evaluate the effectiveness of our synthesis methods, we adopt a controlled training setup based on distillation from strong web agents. Experiments across multiple web-based benchmarks show that our dataset - despite being smaller - enables the training of more effective web agents than existing datasets. In particular, our data exhibits twice the diversity in tool-use actions, allowing models trained on it to achieve stronger performance while avoiding repetitive tool-calling behaviors.