\$OneMillion-Bench: Quanto sono lontani gli agenti linguistici dagli esperti umani?
\$OneMillion-Bench: How Far are Language Agents from Human Experts?
March 9, 2026
Autori: Qianyu Yang, Yang Liu, Jiaqi Li, Jun Bai, Hao Chen, Kaiyuan Chen, Tiliang Duan, Jiayun Dong, Xiaobo Hu, Zixia Jia, Yang Liu, Tao Peng, Yixin Ren, Ran Tian, Zaiyuan Wang, Yanglihong Xiao, Gang Yao, Lingyue Yin, Ge Zhang, Chun Zhang, Jianpeng Jiao, Zilong Zheng, Yuan Gong
cs.AI
Abstract
Man mano che i modelli linguistici (LM) evolvono da assistenti di chat ad agenti a lungo termine capaci di ragionamento multi-step e utilizzo di strumenti, i benchmark esistenti rimangono in gran parte confinati a compiti strutturati o di tipo scolastico che non soddisfano le richieste del mondo professionale reale. A tal fine, introduciamo \OneMillion-Bench OneMillion-Bench, un benchmark di 400 compiti curati da esperti che abbracciano Diritto, Finanza, Industria, Sanità e Scienze Naturali, creato per valutare gli agenti in scenari economicamente rilevanti. A differenza dei lavori precedenti, il benchmark richiede il recupero di fonti autorevoli, la risoluzione di prove contrastanti, l'applicazione di regole dominio-specifiche e il prendere decisioni vincolate, dove la correttezza dipende tanto dal processo di ragionamento quanto dalla risposta finale. Adottiamo un protocollo di valutazione basato su rubriche che assegna punteggi per accuratezza fattuale, coerenza logica, fattibilità pratica e conformità professionale, concentrandosi su problemi di livello esperto per garantire una differenziazione significativa tra gli agenti. Nel complesso, \$OneMillion-Bench fornisce una piattaforma di test unificata per valutare l'affidabilità agentiva, la profondità professionale e la prontezza pratica in scenari ad alta intensità di dominio.
English
As language models (LMs) evolve from chat assistants to long-horizon agents capable of multi-step reasoning and tool use, existing benchmarks remain largely confined to structured or exam-style tasks that fall short of real-world professional demands. To this end, we introduce \OneMillion-Bench OneMillion-Bench, a benchmark of 400 expert-curated tasks spanning Law, Finance, Industry, Healthcare, and Natural Science, built to evaluate agents across economically consequential scenarios. Unlike prior work, the benchmark requires retrieving authoritative sources, resolving conflicting evidence, applying domain-specific rules, and making constraint decisions, where correctness depends as much on the reasoning process as the final answer. We adopt a rubric-based evaluation protocol scoring factual accuracy, logical coherence, practical feasibility, and professional compliance, focused on expert-level problems to ensure meaningful differentiation across agents. Together, \$OneMillion-Bench provides a unified testbed for assessing agentic reliability, professional depth, and practical readiness in domain-intensive scenarios.