DeepResearchEval: Ein automatisiertes Framework zur Konstruktion komplexer Forschungsaufgaben und agentenbasierter Evaluation

DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation

January 14, 2026

papers.authors: Yibo Wang, Lei Wang, Yue Deng, Keming Wu, Yao Xiao, Huanjin Yao, Liwei Kang, Hai Ye, Yongcheng Jing, Lidong Bing

cs.AI

papers.abstract

Tiefe Forschungssysteme werden häufig für mehrstufige Webrecherchen, Analysen und quellenübergreifende Synthesen eingesetzt, doch ihre Bewertung bleibt eine Herausforderung. Bestehende Benchmarks erfordern oft einen aufwändig annotierten Aufgabenaufbau, stützen sich auf statische Bewertungsdimensionen oder können Fakten nicht zuverlässig überprüfen, wenn Quellenangaben fehlen. Um diese Lücken zu schließen, stellen wir DeepResearchEval vor, ein automatisiertes Framework zur Konstruktion von Forschungsaufgaben und zur agentenbasierten Evaluation. Für die Aufgabenerstellung schlagen wir einen persona-gesteuerten Prozess vor, der realistische, komplexe Forschungsfragen generiert, die in verschiedenen Nutzerprofilen verankert sind. Dabei wird ein zweistufiger Filter – Aufgabenqualifikation und Suchnotwendigkeit – angewendet, um nur solche Aufgaben beizubehalten, die die Integration von Multi-Quellen-Evidenz und externe Recherche erfordern. Für die Evaluation schlagen wir einen agentenbasierten Prozess mit zwei Komponenten vor: eine adaptive punktuelle Qualitätsbewertung, die aufbauend auf jeder generierten Aufgabe dynamisch aufgabenspezifische Bewertungsdimensionen, Kriterien und Gewichtungen ableitet, sowie eine aktive Faktenprüfung, die Aussagen aus Berichten autonom via Websuche extrahiert und verifiziert – selbst wenn Quellenangaben fehlen.

English

Deep research systems are widely used for multi-step web research, analysis, and cross-source synthesis, yet their evaluation remains challenging. Existing benchmarks often require annotation-intensive task construction, rely on static evaluation dimensions, or fail to reliably verify facts when citations are missing. To bridge these gaps, we introduce DeepResearchEval, an automated framework for deep research task construction and agentic evaluation. For task construction, we propose a persona-driven pipeline generating realistic, complex research tasks anchored in diverse user profiles, applying a two-stage filter Task Qualification and Search Necessity to retain only tasks requiring multi-source evidence integration and external retrieval. For evaluation, we propose an agentic pipeline with two components: an Adaptive Point-wise Quality Evaluation that dynamically derives task-specific evaluation dimensions, criteria, and weights conditioned on each generated task, and an Active Fact-Checking that autonomously extracts and verifies report statements via web search, even when citations are missing.