Sintesi di Dati Agenti per Web Agent con Meccanismi di Incremento Progressivo della Difficoltà

Synthesizing Agentic Data for Web Agents with Progressive Difficulty Enhancement Mechanisms

October 15, 2025

Autori: Shrey Pandit, Xuan-Phi Nguyen, Yifei Ming, Austin Xu, Jiayu Wang, Caiming Xiong, Shafiq Joty

cs.AI

Abstract

Gli agenti di "ricerca approfondita" basati sul web mirano a risolvere complessi compiti di question-answering attraverso interazioni a lungo termine con strumenti online. Questi compiti rimangono impegnativi, poiché i modelli linguistici sottostanti spesso non sono ottimizzati per il ragionamento e l'esplorazione a lungo termine. Ricerche precedenti hanno proposto flussi di lavoro per la costruzione di dataset per l'instruction-tuning, spesso sfruttando grafi di conoscenza. Tuttavia, tali metodi generalmente mancano di un controllo fine sulla difficoltà e sulla qualità, producendo dati sintetici che non riescono a catturare la complessità necessaria per il ragionamento a lungo termine. Inoltre, molti studi confondono gli effetti dei dati e dell'addestramento confrontando modelli addestrati con diverse ricette di ottimizzazione, rendendo difficile isolare e valutare l'efficacia dei dati stessi. Introduciamo una pipeline di sintesi dati a due fasi che genera coppie domanda-risposta aumentando progressivamente la complessità del compito fino a quando un agente web di riferimento fallisce. L'agente di riferimento svolge molteplici ruoli in questo processo: tenta di rispondere alle domande, verifica la veridicità, controlla la presenza di risposte alternative e applica filtri. Per valutare l'efficacia dei nostri metodi di sintesi, adottiamo un setup di addestramento controllato basato sulla distillazione da agenti web avanzati. Esperimenti su più benchmark basati sul web dimostrano che il nostro dataset - nonostante sia più piccolo - consente l'addestramento di agenti web più efficaci rispetto ai dataset esistenti. In particolare, i nostri dati mostrano una diversità doppia nelle azioni di utilizzo degli strumenti, permettendo ai modelli addestrati su di essi di ottenere prestazioni migliori evitando comportamenti ripetitivi di chiamata agli strumenti.

English

Web-based 'deep research' agents aim to solve complex question - answering tasks through long-horizon interactions with online tools. These tasks remain challenging, as the underlying language models are often not optimized for long-horizon reasoning and exploration. Prior work has proposed workflows for constructing instruction-tuning datasets, often leveraging knowledge graphs. However, such methods typically lack fine-grained control over difficulty and quality, yielding synthetic data that falls short of capturing the complexity required for long-horizon reasoning. Furthermore, many studies conflate data and training effects by comparing models trained under different optimization recipes, making it difficult to isolate and evaluate the effectiveness of the data itself. We introduce a two-pronged data synthesis pipeline that generates question - answer pairs by progressively increasing task complexity until a frontier baseline web agent fails. The baseline agent plays multiple roles in this process: attempting the questions, validating factuality, checking for alternative answers, and enforcing filtering. To evaluate the effectiveness of our synthesis methods, we adopt a controlled training setup based on distillation from strong web agents. Experiments across multiple web-based benchmarks show that our dataset - despite being smaller - enables the training of more effective web agents than existing datasets. In particular, our data exhibits twice the diversity in tool-use actions, allowing models trained on it to achieve stronger performance while avoiding repetitive tool-calling behaviors.