WebShaper: Агентный синтез данных через формализацию информационного поиска

WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization

July 20, 2025

Авторы: Zhengwei Tao, Jialong Wu, Wenbiao Yin, Junkai Zhang, Baixuan Li, Haiyang Shen, Kuan Li, Liwen Zhang, Xinyu Wang, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

cs.AI

Аннотация

Появление агентов на основе больших языковых моделей (LLM) произвело революцию в области искусственного интеллекта, позволив решать сложные, открытые задачи с помощью возможностей поиска информации (IS) в интернете. Недостаток высококачественных обучающих данных ограничивал развитие IS-агентов. Существующие подходы обычно используют информационно-ориентированную парадигму, при которой сначала собираются веб-данные, а затем на основе извлеченной информации генерируются вопросы. Однако это может привести к несоответствию между структурой информации и структурой рассуждений, вопросом и ответом. Чтобы устранить эту проблему, мы предлагаем фреймворк синтеза данных IS, основанный на формализации, — WebShaper, для создания набора данных. WebShaper систематически формализует задачи IS с помощью теории множеств. Центральным элементом формализации является концепция проекций знаний (KP), которая позволяет точно контролировать структуру рассуждений с помощью композиций операций KP. В процессе синтеза мы начинаем с создания начальных задач, а затем используем многоэтапный процесс расширения. На каждом этапе агент Expander усложняет текущий формальный вопрос с помощью инструментов извлечения и проверки, основанных на нашей формализации. Мы обучаем нашу модель на синтезированном наборе данных. Результаты экспериментов показывают, что WebShaper достигает наилучших результатов среди открытых IS-агентов на бенчмарках GAIA и WebWalkerQA.

English

The advent of Large Language Model (LLM)-powered agents has revolutionized artificial intelligence by enabling solutions to complex, open-ended tasks through web-based information-seeking (IS) capabilities. The scarcity of high-quality training data has limited the development of IS agents. Existing approaches typically adopt an information-driven paradigm that first collects web data and then generates questions based on the retrieval. However, this may lead to inconsistency between information structure and reasoning structure, question and answer. To mitigate, we propose a formalization-driven IS data synthesis framework WebShaper to construct a dataset. WebShaper systematically formalizes IS tasks through set theory. Central to the formalization is the concept of Knowledge Projections (KP), which enables precise control over reasoning structure by KP operation compositions. During synthesis, we begin by creating seed tasks, then use a multi-step expansion process. At each step, an agentic Expander expands the current formal question more complex with retrieval and validation tools based on our formalization. We train our model on the synthesized dataset. Experiment results demonstrate that WebShaper achieves state-of-the-art performance among open-sourced IS agents on GAIA and WebWalkerQA benchmarks.