xbench: Seguimiento de la Productividad de Agentes con Escalabilidad Basada en Evaluaciones del Mundo Real Alineadas con la Profesión

xbench: Tracking Agents Productivity Scaling with Profession-Aligned Real-World Evaluations

June 16, 2025

Autores: Kaiyuan Chen, Yixin Ren, Yang Liu, Xiaobo Hu, Haotong Tian, Tianbao Xie, Fangfu Liu, Haoye Zhang, Hongzhang Liu, Yuan Gong, Chen Sun, Han Hou, Hui Yang, James Pan, Jianan Lou, Jiayi Mao, Jizheng Liu, Jinpeng Li, Kangyi Liu, Kenkun Liu, Rui Wang, Run Li, Tong Niu, Wenlong Zhang, Wenqi Yan, Xuanzheng Wang, Yuchen Zhang, Yi-Hsin Hung, Yuan Jiang, Zexuan Liu, Zihan Yin, Zijian Ma, Zhiwen Mo

cs.AI

Resumen

Presentamos xbench, una suite de evaluación dinámica y alineada con las profesiones, diseñada para cerrar la brecha entre las capacidades de los agentes de IA y la productividad en el mundo real. Mientras que los puntos de referencia existentes suelen centrarse en habilidades técnicas aisladas, es posible que no reflejen con precisión el valor económico que los agentes aportan en entornos profesionales. Para abordar esto, xbench se enfoca en dominios de importancia comercial con tareas de evaluación definidas por profesionales de la industria. Nuestro marco crea métricas que se correlacionan fuertemente con el valor de la productividad, permite la predicción del Ajuste Tecnología-Mercado (TMF, por sus siglas en inglés) y facilita el seguimiento de las capacidades del producto a lo largo del tiempo. Como nuestras implementaciones iniciales, presentamos dos puntos de referencia: Reclutamiento y Marketing. Para Reclutamiento, recopilamos 50 tareas de escenarios empresariales reales de caza de talentos para evaluar las habilidades de los agentes en mapeo de empresas, recuperación de información y búsqueda de talento. Para Marketing, evaluamos la capacidad de los agentes para emparejar influencers con las necesidades de los anunciantes, analizando su desempeño en 50 requisitos de anunciantes utilizando un grupo seleccionado de 836 candidatos influencers. Presentamos los resultados iniciales de evaluación para los principales agentes contemporáneos, estableciendo una línea base para estos dominios profesionales. Nuestros conjuntos de evaluación y evaluaciones, actualizados continuamente, están disponibles en https://xbench.org.

English

We introduce xbench, a dynamic, profession-aligned evaluation suite designed to bridge the gap between AI agent capabilities and real-world productivity. While existing benchmarks often focus on isolated technical skills, they may not accurately reflect the economic value agents deliver in professional settings. To address this, xbench targets commercially significant domains with evaluation tasks defined by industry professionals. Our framework creates metrics that strongly correlate with productivity value, enables prediction of Technology-Market Fit (TMF), and facilitates tracking of product capabilities over time. As our initial implementations, we present two benchmarks: Recruitment and Marketing. For Recruitment, we collect 50 tasks from real-world headhunting business scenarios to evaluate agents' abilities in company mapping, information retrieval, and talent sourcing. For Marketing, we assess agents' ability to match influencers with advertiser needs, evaluating their performance across 50 advertiser requirements using a curated pool of 836 candidate influencers. We present initial evaluation results for leading contemporary agents, establishing a baseline for these professional domains. Our continuously updated evalsets and evaluations are available at https://xbench.org.