\$OneMillion-Bench: ¿Qué tan lejos están los agentes lingüísticos de los expertos humanos?
\$OneMillion-Bench: How Far are Language Agents from Human Experts?
March 9, 2026
Autores: Qianyu Yang, Yang Liu, Jiaqi Li, Jun Bai, Hao Chen, Kaiyuan Chen, Tiliang Duan, Jiayun Dong, Xiaobo Hu, Zixia Jia, Yang Liu, Tao Peng, Yixin Ren, Ran Tian, Zaiyuan Wang, Yanglihong Xiao, Gang Yao, Lingyue Yin, Ge Zhang, Chun Zhang, Jianpeng Jiao, Zilong Zheng, Yuan Gong
cs.AI
Resumen
A medida que los modelos de lenguaje (LM) evolucionan de asistentes de chat a agentes de horizonte largo capaces de razonamiento multi-etapa y uso de herramientas, los benchmarks existentes se mantienen mayormente confinados a tareas estructuradas o de estilo examen que no alcanzan las demandas profesionales del mundo real. Para ello, presentamos OneMillion-Bench, un benchmark de 400 tareas curadas por expertos que abarcan Derecho, Finanzas, Industria, Salud y Ciencias Naturales, construido para evaluar agentes en escenarios económicamente consecuentes. A diferencia de trabajos previos, este benchmark requiere recuperar fuentes autorizadas, resolver evidencia conflictiva, aplicar reglas específicas de dominio y tomar decisiones con restricciones, donde la corrección depende tanto del proceso de razonamiento como de la respuesta final. Adoptamos un protocolo de evaluación basado en rúbricas que puntúa la precisión fáctica, la coherencia lógica, la viabilidad práctica y el cumplimiento profesional, centrado en problemas de nivel experto para garantizar una diferenciación significativa entre agentes. En conjunto, OneMillion-Bench proporciona un banco de pruebas unificado para evaluar la confiabilidad agentiva, la profundidad profesional y la preparación práctica en escenarios intensivos en dominio.
English
As language models (LMs) evolve from chat assistants to long-horizon agents capable of multi-step reasoning and tool use, existing benchmarks remain largely confined to structured or exam-style tasks that fall short of real-world professional demands. To this end, we introduce \OneMillion-Bench OneMillion-Bench, a benchmark of 400 expert-curated tasks spanning Law, Finance, Industry, Healthcare, and Natural Science, built to evaluate agents across economically consequential scenarios. Unlike prior work, the benchmark requires retrieving authoritative sources, resolving conflicting evidence, applying domain-specific rules, and making constraint decisions, where correctness depends as much on the reasoning process as the final answer. We adopt a rubric-based evaluation protocol scoring factual accuracy, logical coherence, practical feasibility, and professional compliance, focused on expert-level problems to ensure meaningful differentiation across agents. Together, \$OneMillion-Bench provides a unified testbed for assessing agentic reliability, professional depth, and practical readiness in domain-intensive scenarios.