Adaptation d'agents web par supervision synthétique

Adapting Web Agents with Synthetic Supervision

November 8, 2025

papers.authors: Zhaoyang Wang, Yiming Liang, Xuchao Zhang, Qianhui Wu, Siwei Han, Anson Bastos, Rujia Wang, Chetan Bansal, Baolin Peng, Jianfeng Gao, Saravan Rajmohan, Huaxiu Yao

cs.AI

papers.abstract

Les agents web peinent à s'adapter à de nouveaux sites web en raison de la rareté des tâches et démonstrations spécifiques à l'environnement. Des travaux récents ont exploré la génération de données synthétiques pour relever ce défi, mais ils souffrent de problèmes de qualité des données où les tâches synthétisées contiennent des hallucinations impossibles à exécuter, et les trajectoires collectées sont bruitées avec des actions redondantes ou non alignées. Dans cet article, nous proposons SynthAgent, un cadre de supervision entièrement synthétique visant à améliorer la qualité des données synthétiques via un double raffinement des tâches et des trajectoires. Notre approche commence par synthétiser des tâches diverses grâce à une exploration catégorisée des éléments web, garantissant une couverture efficace de l'environnement cible. Pendant la collecte des trajectoires, nous affinons les tâches lorsque des conflits avec les observations réelles sont détectés, atténuant les hallucinations tout en maintenant la cohérence des tâches. Après la collecte, nous effectuons un raffinement des trajectoires avec un contexte global pour réduire le bruit ou les désalignements potentiels. Enfin, nous affinons des agents web open-source sur les données synthétiques raffinées pour les adapter à l'environnement cible. Les résultats expérimentaux démontrent que SynthAgent surpasse les méthodes existantes de données synthétiques, validant l'importance d'une supervision synthétique de haute qualité. Le code sera publiquement disponible à l'adresse https://github.com/aiming-lab/SynthAgent.

English

Web agents struggle to adapt to new websites due to the scarcity of environment specific tasks and demonstrations. Recent works have explored synthetic data generation to address this challenge, however, they suffer from data quality issues where synthesized tasks contain hallucinations that cannot be executed, and collected trajectories are noisy with redundant or misaligned actions. In this paper, we propose SynthAgent, a fully synthetic supervision framework that aims at improving synthetic data quality via dual refinement of both tasks and trajectories. Our approach begins by synthesizing diverse tasks through categorized exploration of web elements, ensuring efficient coverage of the target environment. During trajectory collection, we refine tasks when conflicts with actual observations are detected, mitigating hallucinations while maintaining task consistency. After collection, we conduct trajectory refinement with a global context to mitigate potential noise or misalignments. Finally, we fine-tune open-source web agents on the refined synthetic data to adapt them to the target environment. Experimental results demonstrate that SynthAgent outperforms existing synthetic data methods, validating the importance of high-quality synthetic supervision. The code will be publicly available at https://github.com/aiming-lab/SynthAgent.