Исследовать, чтобы эволюционировать: масштабирование эволюционной логики агрегации через активное онлайн-исследование для глубоких исследовательских агентов

Explore to Evolve: Scaling Evolved Aggregation Logic via Proactive Online Exploration for Deep Research Agents

October 16, 2025

Авторы: Rui Wang, Ce Zhang, Jun-Yu Ma, Jianshu Zhang, Hongru Wang, Yi Chen, Boyang Xue, Tianqing Fang, Zhisong Zhang, Hongming Zhang, Haitao Mi, Dong Yu, Kam-Fai Wong

cs.AI

Аннотация

Глубокие исследовательские веб-агенты не только извлекают информацию из различных источников, таких как веб-среда, файлы и мультимодальные данные, но, что более важно, они должны тщательно анализировать и агрегировать знания для проведения глубоких исследований. Однако существующие открытые глубокие исследовательские агенты в основном сосредоточены на улучшении способностей веб-агентов к поиску информации для нахождения конкретных данных, упуская из виду важную необходимость агрегации информации, что ограничивает их способность поддерживать углубленные исследования. Мы предлагаем парадигму «Исследовать для эволюции» для масштабируемого создания проверяемых обучающих данных для веб-агентов. Начиная с активного онлайн-исследования, агент собирает обоснованную информацию, исследуя реальный веб. Используя собранные данные, агент затем самостоятельно развивает программу агрегации, выбирая, комбинируя и уточняя операции из 12 высокоуровневых логических типов для синтеза проверяемой пары вопрос-ответ. Эта эволюция от высокоуровневого руководства к конкретным операциям позволила нам масштабируемо создать WebAggregatorQA — набор данных из 10 тысяч образцов, охватывающих 50 тысяч веб-сайтов и 11 доменов. На основе открытой платформы для агентов SmolAgents мы собираем траектории обучения с учителем для разработки серии базовых моделей WebAggregator. WebAggregator-8B соответствует производительности GPT-4.1, в то время как 32B-вариант превосходит GPT-4.1 более чем на 10% на GAIA-text и близко приближается к Claude-3.7-sonnet. Более того, учитывая ограниченную доступность бенчмарков, оценивающих способности веб-агентов к агрегации информации, мы создаем аннотированный человеком оценочный набор данных WebAggregatorQA в качестве сложного тестового набора. На этом бенчмарке Claude-3.7-sonnet достигает только 28%, а GPT-4.1 — 25.8%. Даже когда агентам удается извлечь все ссылки, они все равно испытывают трудности с WebAggregatorQA, что подчеркивает необходимость укрепления способностей базовых веб-агентов к агрегации информации.

English

Deep research web agents not only retrieve information from diverse sources such as web environments, files, and multimodal inputs, but more importantly, they need to rigorously analyze and aggregate knowledge for insightful research. However, existing open-source deep research agents predominantly focus on enhancing information-seeking capabilities of web agents to locate specific information, while overlooking the essential need for information aggregation, which would limit their ability to support in-depth research. We propose an Explore to Evolve paradigm to scalably construct verifiable training data for web agents. Begins with proactive online exploration, an agent sources grounded information by exploring the real web. Using the collected evidence, the agent then self-evolves an aggregation program by selecting, composing, and refining operations from 12 high-level logical types to synthesize a verifiable QA pair. This evolution from high-level guidance to concrete operations allowed us to scalably produce WebAggregatorQA, a dataset of 10K samples across 50K websites and 11 domains. Based on an open-source agent framework, SmolAgents, we collect supervised fine-tuning trajectories to develop a series of foundation models, WebAggregator. WebAggregator-8B matches the performance of GPT-4.1, while the 32B variant surpasses GPT-4.1 by more than 10% on GAIA-text and closely approaches Claude-3.7-sonnet. Moreover, given the limited availability of benchmarks that evaluate web agents' information aggregation abilities, we construct a human-annotated evaluation split of WebAggregatorQA as a challenging test set. On this benchmark, Claude-3.7-sonnet only achieves 28%, and GPT-4.1 scores 25.8%. Even when agents manage to retrieve all references, they still struggle on WebAggregatorQA, highlighting the need to strengthen the information aggregation capabilities of web agent foundations.