WebShaper: Agentische Datensynthese durch Informationssuche-Formalisierung

WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization

July 20, 2025

papers.authors: Zhengwei Tao, Jialong Wu, Wenbiao Yin, Junkai Zhang, Baixuan Li, Haiyang Shen, Kuan Li, Liwen Zhang, Xinyu Wang, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

cs.AI

papers.abstract

Die Einführung von Agenten, die durch große Sprachmodelle (LLMs) angetrieben werden, hat die künstliche Intelligenz revolutioniert, indem sie Lösungen für komplexe, offene Aufgaben durch webbasierte Informationssuche (IS) ermöglicht. Die Knappheit hochwertiger Trainingsdaten hat die Entwicklung von IS-Agenten jedoch eingeschränkt. Bestehende Ansätze folgen typischerweise einem informationsgetriebenen Paradigma, bei dem zunächst Webdaten gesammelt und dann Fragen basierend auf der Retrieval-Ergebnisse generiert werden. Dies kann jedoch zu Inkonsistenzen zwischen Informationsstruktur und Argumentationsstruktur sowie zwischen Frage und Antwort führen. Um dies zu mildern, schlagen wir ein formalisierungsgetriebenes IS-Datensynthese-Framework namens WebShaper vor, um einen Datensatz zu erstellen. WebShaper formalisiert IS-Aufgaben systematisch durch die Mengenlehre. Kern der Formalisierung ist das Konzept der Wissensprojektionen (KP), das eine präzise Kontrolle über die Argumentationsstruktur durch KP-Operationskompositionen ermöglicht. Während der Synthese beginnen wir mit der Erstellung von Ausgangsaufgaben und verwenden dann einen mehrstufigen Erweiterungsprozess. In jedem Schritt erweitert ein agentenbasierter Expander die aktuelle formale Frage komplexer mit Retrieval- und Validierungswerkzeugen, basierend auf unserer Formalisierung. Wir trainieren unser Modell auf dem synthetisierten Datensatz. Experimentelle Ergebnisse zeigen, dass WebShaper bei Open-Source-IS-Agenten auf den Benchmarks GAIA und WebWalkerQA Spitzenleistungen erzielt.

English

The advent of Large Language Model (LLM)-powered agents has revolutionized artificial intelligence by enabling solutions to complex, open-ended tasks through web-based information-seeking (IS) capabilities. The scarcity of high-quality training data has limited the development of IS agents. Existing approaches typically adopt an information-driven paradigm that first collects web data and then generates questions based on the retrieval. However, this may lead to inconsistency between information structure and reasoning structure, question and answer. To mitigate, we propose a formalization-driven IS data synthesis framework WebShaper to construct a dataset. WebShaper systematically formalizes IS tasks through set theory. Central to the formalization is the concept of Knowledge Projections (KP), which enables precise control over reasoning structure by KP operation compositions. During synthesis, we begin by creating seed tasks, then use a multi-step expansion process. At each step, an agentic Expander expands the current formal question more complex with retrieval and validation tools based on our formalization. We train our model on the synthesized dataset. Experiment results demonstrate that WebShaper achieves state-of-the-art performance among open-sourced IS agents on GAIA and WebWalkerQA benchmarks.