Explorer pour Évoluer : Mise à l'Échelle de la Logique d'Agrégation Évoluée via une Exploration Proactive en Ligne pour les Agents de Recherche Profonde

papers.abstract

Les agents de recherche approfondie sur le web ne se contentent pas de récupérer des informations provenant de sources diverses telles que les environnements web, les fichiers et les entrées multimodales, mais surtout, ils doivent analyser et agréger rigoureusement les connaissances pour mener des recherches perspicaces. Cependant, les agents de recherche approfondie open source existants se concentrent principalement sur l'amélioration des capacités de recherche d'informations des agents web pour localiser des informations spécifiques, tout en négligeant le besoin essentiel d'agrégation d'informations, ce qui limiterait leur capacité à soutenir des recherches approfondies. Nous proposons un paradigme "Explore to Evolve" pour construire de manière scalable des données d'entraînement vérifiables pour les agents web. Commençant par une exploration proactive en ligne, un agent collecte des informations ancrées en explorant le web réel. En utilisant les preuves collectées, l'agent auto-évolue ensuite un programme d'agrégation en sélectionnant, composant et affinant des opérations parmi 12 types logiques de haut niveau pour synthétiser une paire question-réponse vérifiable. Cette évolution, allant des directives de haut niveau aux opérations concrètes, nous a permis de produire de manière scalable WebAggregatorQA, un ensemble de données de 10 000 échantillons couvrant 50 000 sites web et 11 domaines. Basé sur un framework d'agent open source, SmolAgents, nous collectons des trajectoires de fine-tuning supervisé pour développer une série de modèles de base, WebAggregator. WebAggregator-8B atteint les performances de GPT-4.1, tandis que la variante 32B surpasse GPT-4.1 de plus de 10 % sur GAIA-text et s'approche de près de Claude-3.7-sonnet. De plus, compte tenu de la disponibilité limitée de benchmarks évaluant les capacités d'agrégation d'informations des agents web, nous construisons une division d'évaluation annotée manuellement de WebAggregatorQA comme un ensemble de test difficile. Sur ce benchmark, Claude-3.7-sonnet n'atteint que 28 %, et GPT-4.1 obtient 25,8 %. Même lorsque les agents parviennent à récupérer toutes les références, ils peinent encore sur WebAggregatorQA, soulignant la nécessité de renforcer les capacités d'agrégation d'informations des fondations des agents web.

English

Deep research web agents not only retrieve information from diverse sources such as web environments, files, and multimodal inputs, but more importantly, they need to rigorously analyze and aggregate knowledge for insightful research. However, existing open-source deep research agents predominantly focus on enhancing information-seeking capabilities of web agents to locate specific information, while overlooking the essential need for information aggregation, which would limit their ability to support in-depth research. We propose an Explore to Evolve paradigm to scalably construct verifiable training data for web agents. Begins with proactive online exploration, an agent sources grounded information by exploring the real web. Using the collected evidence, the agent then self-evolves an aggregation program by selecting, composing, and refining operations from 12 high-level logical types to synthesize a verifiable QA pair. This evolution from high-level guidance to concrete operations allowed us to scalably produce WebAggregatorQA, a dataset of 10K samples across 50K websites and 11 domains. Based on an open-source agent framework, SmolAgents, we collect supervised fine-tuning trajectories to develop a series of foundation models, WebAggregator. WebAggregator-8B matches the performance of GPT-4.1, while the 32B variant surpasses GPT-4.1 by more than 10% on GAIA-text and closely approaches Claude-3.7-sonnet. Moreover, given the limited availability of benchmarks that evaluate web agents' information aggregation abilities, we construct a human-annotated evaluation split of WebAggregatorQA as a challenging test set. On this benchmark, Claude-3.7-sonnet only achieves 28%, and GPT-4.1 scores 25.8%. Even when agents manage to retrieve all references, they still struggle on WebAggregatorQA, highlighting the need to strengthen the information aggregation capabilities of web agent foundations.

Explorer pour Évoluer : Mise à l'Échelle de la Logique d'Agrégation Évoluée via une Exploration Proactive en Ligne pour les Agents de Recherche Profonde

Explore to Evolve: Scaling Evolved Aggregation Logic via Proactive Online Exploration for Deep Research Agents

papers.abstract

Support