Adattamento di Agenti Web con Supervisione Sintetica
Adapting Web Agents with Synthetic Supervision
November 8, 2025
Autori: Zhaoyang Wang, Yiming Liang, Xuchao Zhang, Qianhui Wu, Siwei Han, Anson Bastos, Rujia Wang, Chetan Bansal, Baolin Peng, Jianfeng Gao, Saravan Rajmohan, Huaxiu Yao
cs.AI
Abstract
Gli agenti web faticano ad adattarsi a nuovi siti web a causa della scarsità di compiti specifici e dimostrazioni relative all'ambiente. Recenti lavori hanno esplorato la generazione di dati sintetici per affrontare questa sfida, ma soffrono di problemi di qualità dei dati: i compiti sintetizzati contengono allucinazioni che non possono essere eseguiti, e le traiettorie raccolte sono rumorose con azioni ridondanti o disallineate. In questo articolo, proponiamo SynthAgent, un framework di supervisione completamente sintetico che mira a migliorare la qualità dei dati sintetici attraverso un doppio raffinamento sia dei compiti che delle traiettorie. Il nostro approccio inizia sintetizzando compiti diversificati attraverso un'esplorazione categorizzata degli elementi web, garantendo una copertura efficiente dell'ambiente target. Durante la raccolta delle traiettorie, affiniamo i compiti quando vengono rilevati conflitti con le osservazioni reali, mitigando le allucinazioni mantenendo al contempo la coerenza del compito. Dopo la raccolta, conduciamo un raffinamento delle traiettorie con un contesto globale per mitigare potenziali rumori o disallineamenti. Infine, addestriamo tramite transfer learning agenti web open-source sui dati sintetici raffinati per adattarli all'ambiente target. I risultati sperimentali dimostrano che SynthAgent supera i metodi esistenti di dati sintetici, convalidando l'importanza di una supervisione sintetica di alta qualità. Il codice sarà pubblicamente disponibile all'indirizzo https://github.com/aiming-lab/SynthAgent.
English
Web agents struggle to adapt to new websites due to the scarcity of environment specific tasks and demonstrations. Recent works have explored synthetic data generation to address this challenge, however, they suffer from data quality issues where synthesized tasks contain hallucinations that cannot be executed, and collected trajectories are noisy with redundant or misaligned actions. In this paper, we propose SynthAgent, a fully synthetic supervision framework that aims at improving synthetic data quality via dual refinement of both tasks and trajectories. Our approach begins by synthesizing diverse tasks through categorized exploration of web elements, ensuring efficient coverage of the target environment. During trajectory collection, we refine tasks when conflicts with actual observations are detected, mitigating hallucinations while maintaining task consistency. After collection, we conduct trajectory refinement with a global context to mitigate potential noise or misalignments. Finally, we fine-tune open-source web agents on the refined synthetic data to adapt them to the target environment. Experimental results demonstrate that SynthAgent outperforms existing synthetic data methods, validating the importance of high-quality synthetic supervision. The code will be publicly available at https://github.com/aiming-lab/SynthAgent.