Síntesis de Datos Agénicos para Agentes Web con Mecanismos de Mejora Progresiva de la Dificultad

Synthesizing Agentic Data for Web Agents with Progressive Difficulty Enhancement Mechanisms

October 15, 2025

Autores: Shrey Pandit, Xuan-Phi Nguyen, Yifei Ming, Austin Xu, Jiayu Wang, Caiming Xiong, Shafiq Joty

cs.AI

Resumen

Los agentes de "investigación profunda" basados en la web tienen como objetivo resolver tareas complejas de respuesta a preguntas mediante interacciones de largo plazo con herramientas en línea. Estas tareas siguen siendo desafiantes, ya que los modelos de lenguaje subyacentes a menudo no están optimizados para el razonamiento y la exploración de largo alcance. Trabajos previos han propuesto flujos de trabajo para la construcción de conjuntos de datos de ajuste por instrucción, frecuentemente aprovechando grafos de conocimiento. Sin embargo, tales métodos suelen carecer de un control detallado sobre la dificultad y la calidad, generando datos sintéticos que no logran capturar la complejidad necesaria para el razonamiento de largo alcance. Además, muchos estudios confunden los efectos de los datos y el entrenamiento al comparar modelos entrenados bajo diferentes recetas de optimización, lo que dificulta aislar y evaluar la efectividad de los datos en sí mismos. Introducimos una canalización de síntesis de datos de dos vertientes que genera pares de preguntas y respuestas aumentando progresivamente la complejidad de la tarea hasta que un agente web de referencia falla. Este agente de referencia desempeña múltiples roles en este proceso: intenta responder las preguntas, valida la factualidad, verifica respuestas alternativas y aplica filtros. Para evaluar la efectividad de nuestros métodos de síntesis, adoptamos un enfoque de entrenamiento controlado basado en la destilación de agentes web potentes. Los experimentos en múltiples puntos de referencia basados en la web muestran que nuestro conjunto de datos, a pesar de ser más pequeño, permite entrenar agentes web más efectivos que los conjuntos de datos existentes. En particular, nuestros datos exhiben el doble de diversidad en acciones de uso de herramientas, lo que permite que los modelos entrenados con ellos logren un rendimiento superior mientras evitan comportamientos repetitivos de llamadas a herramientas.

English

Web-based 'deep research' agents aim to solve complex question - answering tasks through long-horizon interactions with online tools. These tasks remain challenging, as the underlying language models are often not optimized for long-horizon reasoning and exploration. Prior work has proposed workflows for constructing instruction-tuning datasets, often leveraging knowledge graphs. However, such methods typically lack fine-grained control over difficulty and quality, yielding synthetic data that falls short of capturing the complexity required for long-horizon reasoning. Furthermore, many studies conflate data and training effects by comparing models trained under different optimization recipes, making it difficult to isolate and evaluate the effectiveness of the data itself. We introduce a two-pronged data synthesis pipeline that generates question - answer pairs by progressively increasing task complexity until a frontier baseline web agent fails. The baseline agent plays multiple roles in this process: attempting the questions, validating factuality, checking for alternative answers, and enforcing filtering. To evaluate the effectiveness of our synthesis methods, we adopt a controlled training setup based on distillation from strong web agents. Experiments across multiple web-based benchmarks show that our dataset - despite being smaller - enables the training of more effective web agents than existing datasets. In particular, our data exhibits twice the diversity in tool-use actions, allowing models trained on it to achieve stronger performance while avoiding repetitive tool-calling behaviors.