\$OneMillion-Bench: Hoe Ver Staaten Taalagentschappen van Menselijke Experts?
\$OneMillion-Bench: How Far are Language Agents from Human Experts?
March 9, 2026
Auteurs: Qianyu Yang, Yang Liu, Jiaqi Li, Jun Bai, Hao Chen, Kaiyuan Chen, Tiliang Duan, Jiayun Dong, Xiaobo Hu, Zixia Jia, Yang Liu, Tao Peng, Yixin Ren, Ran Tian, Zaiyuan Wang, Yanglihong Xiao, Gang Yao, Lingyue Yin, Ge Zhang, Chun Zhang, Jianpeng Jiao, Zilong Zheng, Yuan Gong
cs.AI
Samenvatting
Naarmate taalmodellen (LM's) evolueren van chatassistenten naar langetermijnagenten die in staat zijn tot meerstapsredenering en gereedschpsgebruik, blijven bestaande benchmarks grotendeels beperkt tot gestructureerde of examengerichte taken die tekortschieten bij reële professionele eisen. Daarom introduceren wij \OneMillion-Bench OneMillion-Bench, een benchmark van 400 door experts samengestelde taken uit de rechterlijke macht, financiën, industrie, gezondheidszorg en natuurwetenschappen, ontwikkeld om agenten te evalueren in economisch relevante scenario's. In tegenstelling tot eerder werk vereist deze benchmark het raadplegen van gezaghebbende bronnen, het oplossen van tegenstrijdig bewijs, het toepassen van domeinspecifieke regels en het nemen van beperkte beslissingen, waarbij de juistheid evenzeer afhangt van het redeneerproces als van het uiteindelijke antwoord. Wij hanteren een op rubrieken gebaseerd evaluatieprotocol dat feitelijke nauwkeurigheid, logische samenhang, praktische haalbaarheid en professionele compliantie beoordeelt, gericht op expertniveauproblemen om zinvolle differentiatie tussen agenten te waarborgen. Samen biedt \$OneMillion-Bench een uniforme testomgeving voor het beoordelen van agentbetrouwbaarheid, professionele diepgang en praktische gereedheid in domeinintensieve scenario's.
English
As language models (LMs) evolve from chat assistants to long-horizon agents capable of multi-step reasoning and tool use, existing benchmarks remain largely confined to structured or exam-style tasks that fall short of real-world professional demands. To this end, we introduce \OneMillion-Bench OneMillion-Bench, a benchmark of 400 expert-curated tasks spanning Law, Finance, Industry, Healthcare, and Natural Science, built to evaluate agents across economically consequential scenarios. Unlike prior work, the benchmark requires retrieving authoritative sources, resolving conflicting evidence, applying domain-specific rules, and making constraint decisions, where correctness depends as much on the reasoning process as the final answer. We adopt a rubric-based evaluation protocol scoring factual accuracy, logical coherence, practical feasibility, and professional compliance, focused on expert-level problems to ensure meaningful differentiation across agents. Together, \$OneMillion-Bench provides a unified testbed for assessing agentic reliability, professional depth, and practical readiness in domain-intensive scenarios.