WebShaper: Agentisch Data Synthetiseren via Informatiezoekende Formalering

WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization

July 20, 2025

Auteurs: Zhengwei Tao, Jialong Wu, Wenbiao Yin, Junkai Zhang, Baixuan Li, Haiyang Shen, Kuan Li, Liwen Zhang, Xinyu Wang, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

cs.AI

Samenvatting

De opkomst van agents aangedreven door Large Language Models (LLM) heeft een revolutie teweeggebracht in kunstmatige intelligentie door oplossingen mogelijk te maken voor complexe, open-einde taken via webgebaseerde informatiezoekcapaciteiten (IS). Het gebrek aan hoogwaardige trainingsdata heeft de ontwikkeling van IS-agents beperkt. Bestaande benaderingen hanteren doorgaans een informatiegedreven paradigma waarbij eerst webdata wordt verzameld en vervolgens vragen worden gegenereerd op basis van de retrieval. Dit kan echter leiden tot inconsistentie tussen informatiestructuur en redeneerstructuur, vraag en antwoord. Om dit te verhelpen, stellen we een formalisatiegedreven IS-datasynthesisframework voor, genaamd WebShaper, om een dataset te construeren. WebShaper formaliseert IS-taken systematisch via verzamelingenleer. Centraal in de formalisatie staat het concept van Knowledge Projections (KP), dat precieze controle over de redeneerstructuur mogelijk maakt door KP-operatiecomposities. Tijdens de synthese beginnen we met het creëren van seed-taken, waarna we een meerstaps uitbreidingsproces gebruiken. Bij elke stap breidt een agentische Expander de huidige formele vraag verder uit met behulp van retrieval- en validatietools op basis van onze formalisatie. We trainen ons model op de gesynthetiseerde dataset. Experimentele resultaten tonen aan dat WebShaper state-of-the-art prestaties behaalt onder open-source IS-agents op de GAIA en WebWalkerQA benchmarks.

English

The advent of Large Language Model (LLM)-powered agents has revolutionized artificial intelligence by enabling solutions to complex, open-ended tasks through web-based information-seeking (IS) capabilities. The scarcity of high-quality training data has limited the development of IS agents. Existing approaches typically adopt an information-driven paradigm that first collects web data and then generates questions based on the retrieval. However, this may lead to inconsistency between information structure and reasoning structure, question and answer. To mitigate, we propose a formalization-driven IS data synthesis framework WebShaper to construct a dataset. WebShaper systematically formalizes IS tasks through set theory. Central to the formalization is the concept of Knowledge Projections (KP), which enables precise control over reasoning structure by KP operation compositions. During synthesis, we begin by creating seed tasks, then use a multi-step expansion process. At each step, an agentic Expander expands the current formal question more complex with retrieval and validation tools based on our formalization. We train our model on the synthesized dataset. Experiment results demonstrate that WebShaper achieves state-of-the-art performance among open-sourced IS agents on GAIA and WebWalkerQA benchmarks.