WebShaper: 정보 탐색을 통한 에이전트 기반 데이터 합성의 형식화

WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization

July 20, 2025

저자: Zhengwei Tao, Jialong Wu, Wenbiao Yin, Junkai Zhang, Baixuan Li, Haiyang Shen, Kuan Li, Liwen Zhang, Xinyu Wang, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

cs.AI

초록

대규모 언어 모델(LLM) 기반 에이전트의 등장은 웹 기반 정보 탐색(IS) 기능을 통해 복잡하고 개방형 작업에 대한 해결책을 가능하게 함으로써 인공지능 분야에 혁신을 가져왔습니다. 그러나 고품질 훈련 데이터의 부족은 IS 에이전트의 개발을 제한해 왔습니다. 기존 접근 방식은 일반적으로 정보 중심 패러다임을 채택하여 먼저 웹 데이터를 수집한 후 검색 결과를 기반으로 질문을 생성합니다. 그러나 이는 정보 구조와 추론 구조, 질문과 답변 간의 불일치를 초래할 수 있습니다. 이를 완화하기 위해 우리는 데이터셋을 구축하기 위한 형식화 중심 IS 데이터 합성 프레임워크인 WebShaper를 제안합니다. WebShaper는 집합 이론을 통해 IS 작업을 체계적으로 형식화합니다. 이 형식화의 핵심은 지식 투영(KP) 개념으로, KP 연산 조합을 통해 추론 구조를 정밀하게 제어할 수 있습니다. 합성 과정에서는 먼저 시드 작업을 생성한 후, 다단계 확장 프로세스를 사용합니다. 각 단계에서 에이전트적 확장기(Expander)는 우리의 형식화를 기반으로 검색 및 검증 도구를 사용하여 현재의 형식적 질문을 더 복잡하게 확장합니다. 우리는 합성된 데이터셋으로 모델을 훈련시켰습니다. 실험 결과, WebShaper는 GAIA 및 WebWalkerQA 벤치마크에서 오픈소스 IS 에이전트 중 최첨단 성능을 달성함을 보여줍니다.

English

The advent of Large Language Model (LLM)-powered agents has revolutionized artificial intelligence by enabling solutions to complex, open-ended tasks through web-based information-seeking (IS) capabilities. The scarcity of high-quality training data has limited the development of IS agents. Existing approaches typically adopt an information-driven paradigm that first collects web data and then generates questions based on the retrieval. However, this may lead to inconsistency between information structure and reasoning structure, question and answer. To mitigate, we propose a formalization-driven IS data synthesis framework WebShaper to construct a dataset. WebShaper systematically formalizes IS tasks through set theory. Central to the formalization is the concept of Knowledge Projections (KP), which enables precise control over reasoning structure by KP operation compositions. During synthesis, we begin by creating seed tasks, then use a multi-step expansion process. At each step, an agentic Expander expands the current formal question more complex with retrieval and validation tools based on our formalization. We train our model on the synthesized dataset. Experiment results demonstrate that WebShaper achieves state-of-the-art performance among open-sourced IS agents on GAIA and WebWalkerQA benchmarks.