웹 에이전트의 합성 감독을 통한 적응

Adapting Web Agents with Synthetic Supervision

November 8, 2025

저자: Zhaoyang Wang, Yiming Liang, Xuchao Zhang, Qianhui Wu, Siwei Han, Anson Bastos, Rujia Wang, Chetan Bansal, Baolin Peng, Jianfeng Gao, Saravan Rajmohan, Huaxiu Yao

cs.AI

초록

웹 에이전트는 환경 특화 작업과 시연 데이터의 부족으로 인해 새로운 웹사이트에 적응하는 데 어려움을 겪습니다. 최근 연구에서는 이러한 문제를 해결하기 위해 합성 데이터 생성 방법을 탐구했지만, 합성된 작업이 실행 불가능한 환각(hallucination)을 포함하거나 수집된 궤적이 중복되거나 잘못 정렬된 동작으로 인해 노이즈가 많은 등 데이터 품질 문제가 발생하고 있습니다. 본 논문에서는 작업과 궤적의 이중 정제(dual refinement)를 통해 합성 데이터 품질을 향상시키는 완전 합성 감독 프레임워크인 SynthAgent를 제안합니다. 우리의 접근법은 웹 요소의 범주화된 탐색을 통해 다양한 작업을 합성하여 대상 환경의 효율적인 커버리지를 보장하는 것에서 시작합니다. 궤적 수집 단계에서는 실제 관찰과 충돌이 감지될 때 작업을 정제하여 작업 일관성을 유지하면서 환각 현상을 완화합니다. 수집 이후에는 전역 컨텍스트를 활용한 궤적 정제를 수행하여 잠재적인 노이즈 또는 오정렬을 줄입니다. 마지막으로, 정제된 합성 데이터로 오픈소스 웹 에이전트를 미세 조정하여 대상 환경에 적응시킵니다. 실험 결과는 SynthAgent가 기존 합성 데이터 방법보다 우수한 성능을 보여주며, 고품질 합성 감독의 중요성을 입증합니다. 코드는 https://github.com/aiming-lab/SynthAgent에서 공개될 예정입니다.

English

Web agents struggle to adapt to new websites due to the scarcity of environment specific tasks and demonstrations. Recent works have explored synthetic data generation to address this challenge, however, they suffer from data quality issues where synthesized tasks contain hallucinations that cannot be executed, and collected trajectories are noisy with redundant or misaligned actions. In this paper, we propose SynthAgent, a fully synthetic supervision framework that aims at improving synthetic data quality via dual refinement of both tasks and trajectories. Our approach begins by synthesizing diverse tasks through categorized exploration of web elements, ensuring efficient coverage of the target environment. During trajectory collection, we refine tasks when conflicts with actual observations are detected, mitigating hallucinations while maintaining task consistency. After collection, we conduct trajectory refinement with a global context to mitigate potential noise or misalignments. Finally, we fine-tune open-source web agents on the refined synthetic data to adapt them to the target environment. Experimental results demonstrate that SynthAgent outperforms existing synthetic data methods, validating the importance of high-quality synthetic supervision. The code will be publicly available at https://github.com/aiming-lab/SynthAgent.