Défi Wiki en Direct : Mettre à l'épreuve les agents de recherche approfondie avec des articles Wikipédia de niveau expert
Wiki Live Challenge: Challenging Deep Research Agents with Expert-Level Wikipedia Articles
February 2, 2026
Auteurs: Shaohan Wang, Benfeng Xu, Licheng Zhang, Mingxuan Du, Chiwei Zhu, Xiaorui Wang, Zhendong Mao, Yongdong Zhang
cs.AI
Résumé
Les agents de recherche approfondie (DRA) ont démontré des capacités remarquables en matière de récupération autonome d'informations et de génération de rapports, montrant un grand potentiel pour assister les humains dans des tâches de recherche complexes. Les cadres d'évaluation actuels reposent principalement sur des références générées par des LLM ou des dimensions d'évaluation dérivées des LLM. Bien que ces approches offrent une évolutivité, elles manquent souvent de la fiabilité d'un contenu vérifié par des experts et peinent à fournir des évaluations objectives et granulaires des dimensions critiques. Pour combler cette lacune, nous présentons Wiki Live Challenge (WLC), un benchmark dynamique qui exploite les articles de qualité (AdQ) les plus récents de Wikipédia comme références de niveau expert. Les normes strictes de Wikipédia en matière de neutralité, d'exhaustivité et de vérifiabilité constituent un défi de taille pour les DRA, les AdQ en représentant le summum. Nous avons constitué un jeu de données de 100 articles de qualité récents et proposons Wiki Eval, un cadre d'évaluation complet comprenant une méthode d'évaluation granulaire avec 39 critères pour la qualité rédactionnelle et des métriques rigoureuses pour la vérifiabilité factuelle. Des expériences approfondies sur divers systèmes DRA démontrent un écart significatif entre les DRA actuels et les articles Wikipédia de niveau expert humain, validant l'efficacité de WLC pour faire progresser la recherche sur les agents. Nous publions notre benchmark à l'adresse https://github.com/WangShao2000/Wiki_Live_Challenge.
English
Deep Research Agents (DRAs) have demonstrated remarkable capabilities in autonomous information retrieval and report generation, showing great potential to assist humans in complex research tasks. Current evaluation frameworks primarily rely on LLM-generated references or LLM-derived evaluation dimensions. While these approaches offer scalability, they often lack the reliability of expert-verified content and struggle to provide objective, fine-grained assessments of critical dimensions. To bridge this gap, we introduce Wiki Live Challenge (WLC), a live benchmark that leverages the newest Wikipedia Good Articles (GAs) as expert-level references. Wikipedia's strict standards for neutrality, comprehensiveness, and verifiability serve as a great challenge for DRAs, with GAs representing the pinnacle of which. We curate a dataset of 100 recent Good Articles and propose Wiki Eval, a comprehensive evaluation framework comprising a fine-grained evaluation method with 39 criteria for writing quality and rigorous metrics for factual verifiability. Extensive experiments on various DRA systems demonstrate a significant gap between current DRAs and human expert-level Wikipedia articles, validating the effectiveness of WLC in advancing agent research. We release our benchmark at https://github.com/WangShao2000/Wiki_Live_Challenge