Wiki Live Challenge: Deep Research Agents Uitdagen met Expert-Level Wikipedia-artikelen
Wiki Live Challenge: Challenging Deep Research Agents with Expert-Level Wikipedia Articles
February 2, 2026
Auteurs: Shaohan Wang, Benfeng Xu, Licheng Zhang, Mingxuan Du, Chiwei Zhu, Xiaorui Wang, Zhendong Mao, Yongdong Zhang
cs.AI
Samenvatting
Deep Research Agents (DRA's) hebben opmerkelijke capaciteiten getoond in autonome informatieverwerking en rapportgeneratie, wat een groot potentieel aantoont om mensen te ondersteunen bij complexe onderzoektaken. Huidige evaluatiekaders baseren zich voornamelijk op door LLM's gegenereerde referenties of door LLM's afgeleide evaluatiedimensies. Hoewel deze benaderingen schaalbaarheid bieden, ontbreekt het hen vaak aan de betrouwbaarheid van door experts geverifieerde inhoud en hebben zij moeite met objectieve, fijnmazige beoordelingen van kritieke dimensies. Om deze kloof te overbruggen, introduceren wij Wiki Live Challenge (WLC), een live benchmark die de nieuwste Wikipedia Good Articles (GA's) gebruikt als expertniveau-referenties. Wikipedia's strikte normen voor neutraliteit, volledigheid en verifieerbaarheid vormen een grote uitdaging voor DRA's, waarbij GA's het toppunt hiervan vertegenwoordigen. Wij hebben een dataset samengesteld met 100 recente Good Articles en stellen Wiki Eval voor, een uitgebreid evaluatieraamwerk bestaande uit een fijnmazige evaluatiemethode met 39 criteria voor schrijfkwaliteit en rigoureuze metrieken voor feitelijke verifieerbaarheid. Uitgebreide experimenten met diverse DRA-systemen tonen een significante kloof aan tussen huidige DRA's en Wikipedia-artikelen op menselijk expertenniveau, wat de effectiviteit van WLC voor het bevorderen van agentonderzoek valideert. Onze benchmark is vrijgegeven op https://github.com/WangShao2000/Wiki_Live_Challenge.
English
Deep Research Agents (DRAs) have demonstrated remarkable capabilities in autonomous information retrieval and report generation, showing great potential to assist humans in complex research tasks. Current evaluation frameworks primarily rely on LLM-generated references or LLM-derived evaluation dimensions. While these approaches offer scalability, they often lack the reliability of expert-verified content and struggle to provide objective, fine-grained assessments of critical dimensions. To bridge this gap, we introduce Wiki Live Challenge (WLC), a live benchmark that leverages the newest Wikipedia Good Articles (GAs) as expert-level references. Wikipedia's strict standards for neutrality, comprehensiveness, and verifiability serve as a great challenge for DRAs, with GAs representing the pinnacle of which. We curate a dataset of 100 recent Good Articles and propose Wiki Eval, a comprehensive evaluation framework comprising a fine-grained evaluation method with 39 criteria for writing quality and rigorous metrics for factual verifiability. Extensive experiments on various DRA systems demonstrate a significant gap between current DRAs and human expert-level Wikipedia articles, validating the effectiveness of WLC in advancing agent research. We release our benchmark at https://github.com/WangShao2000/Wiki_Live_Challenge