Wiki Live Challenge: Herausforderung für tiefgehende Forschungsagenten mit Experten-Level-Wikipedia-Artikeln
Wiki Live Challenge: Challenging Deep Research Agents with Expert-Level Wikipedia Articles
February 2, 2026
Autoren: Shaohan Wang, Benfeng Xu, Licheng Zhang, Mingxuan Du, Chiwei Zhu, Xiaorui Wang, Zhendong Mao, Yongdong Zhang
cs.AI
Zusammenfassung
Deep Research Agents (DRAs) haben bemerkenswerte Fähigkeiten bei der autonomen Informationsbeschaffung und Berichterstellung demonstriert und zeigen großes Potenzial, Menschen bei komplexen Forschungsaufgaben zu unterstützen. Aktuelle Evaluierungsrahmen stützen sich primär auf LLM-generierte Referenzen oder LLM-abgeleitete Bewertungsdimensionen. Obwohl diese Ansätze Skalierbarkeit bieten, mangelt es ihnen oft an der Zuverlässigkeit expertengeprüfter Inhalte, und sie können keine objektiven, feingranularen Bewertungen kritischer Dimensionen liefern. Um diese Lücke zu schließen, stellen wir Wiki Live Challenge (WLC) vor, einen Live-Benchmark, der die neuesten Wikipedia-Exzellente Artikel (GAs) als Expertenreferenzen nutzt. Wikipedias strenge Standards für Neutralität, Umfassendheit und Überprüfbarkeit stellen eine große Herausforderung für DRAs dar, wobei GAs die Spitze dieser Anforderungen repräsentieren. Wir haben einen Datensatz mit 100 aktuellen Exzellenten Artikeln kuratiert und schlagen Wiki Eval vor, einen umfassenden Evaluierungsrahmen, der eine feingranulare Bewertungsmethode mit 39 Kriterien für die Schreibqualität sowie strenge Metriken für faktische Überprüfbarkeit umfasst. Umfangreiche Experimente mit verschiedenen DRA-Systemen zeigen eine signifikante Lücke zwischen aktuellen DRAs und menschlichen Experten-artikeln auf Wikipedia und validieren die Wirksamkeit von WLC für die Weiterentwicklung der Agentenforschung. Unser Benchmark ist unter https://github.com/WangShao2000/Wiki_Live_Challenge verfügbar.
English
Deep Research Agents (DRAs) have demonstrated remarkable capabilities in autonomous information retrieval and report generation, showing great potential to assist humans in complex research tasks. Current evaluation frameworks primarily rely on LLM-generated references or LLM-derived evaluation dimensions. While these approaches offer scalability, they often lack the reliability of expert-verified content and struggle to provide objective, fine-grained assessments of critical dimensions. To bridge this gap, we introduce Wiki Live Challenge (WLC), a live benchmark that leverages the newest Wikipedia Good Articles (GAs) as expert-level references. Wikipedia's strict standards for neutrality, comprehensiveness, and verifiability serve as a great challenge for DRAs, with GAs representing the pinnacle of which. We curate a dataset of 100 recent Good Articles and propose Wiki Eval, a comprehensive evaluation framework comprising a fine-grained evaluation method with 39 criteria for writing quality and rigorous metrics for factual verifiability. Extensive experiments on various DRA systems demonstrate a significant gap between current DRAs and human expert-level Wikipedia articles, validating the effectiveness of WLC in advancing agent research. We release our benchmark at https://github.com/WangShao2000/Wiki_Live_Challenge