DeepResearchEval : Un Cadre Automatisé pour la Construction de Tâches de Recherche Approfondie et l'Évaluation Agentique
DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation
January 14, 2026
papers.authors: Yibo Wang, Lei Wang, Yue Deng, Keming Wu, Yao Xiao, Huanjin Yao, Liwei Kang, Hai Ye, Yongcheng Jing, Lidong Bing
cs.AI
papers.abstract
Les systèmes de recherche approfondie sont largement utilisés pour la recherche web multi-étapes, l'analyse et la synthèse multi-sources, mais leur évaluation reste difficile. Les bancs d'essai existants nécessitent souvent une construction de tâches intensive en annotations, reposent sur des dimensions d'évaluation statiques, ou échouent à vérifier les faits de manière fiable lorsque les citations sont manquantes. Pour combler ces lacunes, nous présentons DeepResearchEval, un cadre automatisé pour la construction de tâches de recherche approfondie et l'évaluation agentique. Pour la construction des tâches, nous proposons un pipeline piloté par des personas générant des tâches de recherche réalistes et complexes ancrées dans des profils utilisateurs variés, en appliquant un filtre en deux étapes : Qualification de la Tâche et Nécessité de Recherche, pour ne conserver que les tâches nécessitant une intégration de preuves multi-sources et une récupération externe. Pour l'évaluation, nous proposons un pipeline agentique à deux composantes : une Évaluation de Qualité Ponctuelle Adaptative qui dérive dynamiquement des dimensions, critères et poids d'évaluation spécifiques à chaque tâche, conditionnés par la tâche générée ; et une Vérification des Faits Active qui extrait et vérifie de manière autonome les affirmations du rapport via une recherche web, même en l'absence de citations.
English
Deep research systems are widely used for multi-step web research, analysis, and cross-source synthesis, yet their evaluation remains challenging. Existing benchmarks often require annotation-intensive task construction, rely on static evaluation dimensions, or fail to reliably verify facts when citations are missing. To bridge these gaps, we introduce DeepResearchEval, an automated framework for deep research task construction and agentic evaluation. For task construction, we propose a persona-driven pipeline generating realistic, complex research tasks anchored in diverse user profiles, applying a two-stage filter Task Qualification and Search Necessity to retain only tasks requiring multi-source evidence integration and external retrieval. For evaluation, we propose an agentic pipeline with two components: an Adaptive Point-wise Quality Evaluation that dynamically derives task-specific evaluation dimensions, criteria, and weights conditioned on each generated task, and an Active Fact-Checking that autonomously extracts and verifies report statements via web search, even when citations are missing.