Wiki Live Challenge: Desafiando a Agentes de Investigación Profunda con Artículos de Wikipedia de Nivel Experto
Wiki Live Challenge: Challenging Deep Research Agents with Expert-Level Wikipedia Articles
February 2, 2026
Autores: Shaohan Wang, Benfeng Xu, Licheng Zhang, Mingxuan Du, Chiwei Zhu, Xiaorui Wang, Zhendong Mao, Yongdong Zhang
cs.AI
Resumen
Los Agentes de Investigación Profunda (DRA) han demostrado capacidades notables en la recuperación autónoma de información y la generación de informes, mostrando un gran potencial para asistir a los humanos en tareas de investigación complejas. Los marcos de evaluación actuales se basan principalmente en referencias generadas por LLM o en dimensiones de evaluación derivadas de LLM. Si bien estos enfoques ofrecen escalabilidad, a menudo carecen de la fiabilidad del contenido verificado por expertos y tienen dificultades para proporcionar evaluaciones objetivas y detalladas de dimensiones críticas. Para cerrar esta brecha, presentamos Wiki Live Challenge (WLC), un punto de referencia dinámico que aprovecha los Artículos Buenos (GA) más recientes de Wikipedia como referencias de nivel experto. Los estrictos estándares de Wikipedia en cuanto a neutralidad, exhaustividad y verificabilidad representan un gran desafío para los DRA, siendo los GA el pináculo de los mismos. Hemos recopilado un conjunto de datos de 100 Artículos Buenos recientes y proponemos Wiki Eval, un marco de evaluación integral que comprende un método de evaluación detallado con 39 criterios para la calidad de la escritura y métricas rigurosas para la verificabilidad fáctica. Experimentos exhaustivos en varios sistemas DRA demuestran una brecha significativa entre los DRA actuales y los artículos de Wikipedia de nivel experto humano, validando la efectividad de WLC para avanzar en la investigación de agentes. Publicamos nuestro punto de referencia en https://github.com/WangShao2000/Wiki_Live_Challenge.
English
Deep Research Agents (DRAs) have demonstrated remarkable capabilities in autonomous information retrieval and report generation, showing great potential to assist humans in complex research tasks. Current evaluation frameworks primarily rely on LLM-generated references or LLM-derived evaluation dimensions. While these approaches offer scalability, they often lack the reliability of expert-verified content and struggle to provide objective, fine-grained assessments of critical dimensions. To bridge this gap, we introduce Wiki Live Challenge (WLC), a live benchmark that leverages the newest Wikipedia Good Articles (GAs) as expert-level references. Wikipedia's strict standards for neutrality, comprehensiveness, and verifiability serve as a great challenge for DRAs, with GAs representing the pinnacle of which. We curate a dataset of 100 recent Good Articles and propose Wiki Eval, a comprehensive evaluation framework comprising a fine-grained evaluation method with 39 criteria for writing quality and rigorous metrics for factual verifiability. Extensive experiments on various DRA systems demonstrate a significant gap between current DRAs and human expert-level Wikipedia articles, validating the effectiveness of WLC in advancing agent research. We release our benchmark at https://github.com/WangShao2000/Wiki_Live_Challenge