Ontdekken om te Evolueren: Schaalbaarheid van Geëvolueerde Aggregatielogica via Proactieve Online Verkenning voor Diepe Onderzoeksagenten

Explore to Evolve: Scaling Evolved Aggregation Logic via Proactive Online Exploration for Deep Research Agents

October 16, 2025

Auteurs: Rui Wang, Ce Zhang, Jun-Yu Ma, Jianshu Zhang, Hongru Wang, Yi Chen, Boyang Xue, Tianqing Fang, Zhisong Zhang, Hongming Zhang, Haitao Mi, Dong Yu, Kam-Fai Wong

cs.AI

Samenvatting

Diepgaande onderzoekswebagents halen niet alleen informatie uit diverse bronnen zoals webomgevingen, bestanden en multimodale invoer, maar moeten vooral kennis rigoureus analyseren en samenvoegen voor inzichtelijk onderzoek. Bestaande open-source diepgaande onderzoeksagents richten zich echter voornamelijk op het verbeteren van de informatiezoekcapaciteiten van webagents om specifieke informatie te vinden, terwijl de essentiële behoefte aan informatieaggregatie over het hoofd wordt gezien, wat hun vermogen om diepgaand onderzoek te ondersteunen beperkt. Wij stellen een Explore to Evolve-paradigma voor om op schaalbare wijze verifieerbare trainingsdata voor webagents te construeren. Beginnend met proactieve online verkenning, verzamelt een agent gegronde informatie door het echte web te verkennen. Met de verzamelde bewijzen ontwikkelt de agent vervolgens zelf een aggregatieprogramma door operaties te selecteren, samen te stellen en te verfijnen uit 12 hoogwaardige logische typen om een verifieerbaar QA-paar te synthetiseren. Deze evolutie van hoogwaardige richtlijnen naar concrete operaties stelde ons in staat om op schaalbare wijze WebAggregatorQA te produceren, een dataset van 10K voorbeelden verspreid over 50K websites en 11 domeinen. Gebaseerd op een open-source agentframework, SmolAgents, verzamelen we supervised fine-tuning trajecten om een reeks foundationmodellen te ontwikkelen, WebAggregator. WebAggregator-8B evenaart de prestaties van GPT-4.1, terwijl de 32B-variant GPT-4.1 met meer dan 10% overtreft op GAIA-text en dicht in de buurt komt van Claude-3.7-sonnet. Bovendien, gezien de beperkte beschikbaarheid van benchmarks die de informatieaggregatiecapaciteiten van webagents evalueren, construeren we een door mensen geannoteerde evaluatieset van WebAggregatorQA als een uitdagende testset. Op deze benchmark behaalt Claude-3.7-sonnet slechts 28%, en GPT-4.1 scoort 25.8%. Zelfs wanneer agents erin slagen om alle referenties op te halen, worstelen ze nog steeds op WebAggregatorQA, wat de noodzaak benadrukt om de informatieaggregatiecapaciteiten van webagentfoundations te versterken.

English

Deep research web agents not only retrieve information from diverse sources such as web environments, files, and multimodal inputs, but more importantly, they need to rigorously analyze and aggregate knowledge for insightful research. However, existing open-source deep research agents predominantly focus on enhancing information-seeking capabilities of web agents to locate specific information, while overlooking the essential need for information aggregation, which would limit their ability to support in-depth research. We propose an Explore to Evolve paradigm to scalably construct verifiable training data for web agents. Begins with proactive online exploration, an agent sources grounded information by exploring the real web. Using the collected evidence, the agent then self-evolves an aggregation program by selecting, composing, and refining operations from 12 high-level logical types to synthesize a verifiable QA pair. This evolution from high-level guidance to concrete operations allowed us to scalably produce WebAggregatorQA, a dataset of 10K samples across 50K websites and 11 domains. Based on an open-source agent framework, SmolAgents, we collect supervised fine-tuning trajectories to develop a series of foundation models, WebAggregator. WebAggregator-8B matches the performance of GPT-4.1, while the 32B variant surpasses GPT-4.1 by more than 10% on GAIA-text and closely approaches Claude-3.7-sonnet. Moreover, given the limited availability of benchmarks that evaluate web agents' information aggregation abilities, we construct a human-annotated evaluation split of WebAggregatorQA as a challenging test set. On this benchmark, Claude-3.7-sonnet only achieves 28%, and GPT-4.1 scores 25.8%. Even when agents manage to retrieve all references, they still struggle on WebAggregatorQA, highlighting the need to strengthen the information aggregation capabilities of web agent foundations.