xbench: Monitoraggio della Scalabilità della Produttività degli Agenti con Valutazioni Realistiche Allineate alle Professioni

xbench: Tracking Agents Productivity Scaling with Profession-Aligned Real-World Evaluations

June 16, 2025

Autori: Kaiyuan Chen, Yixin Ren, Yang Liu, Xiaobo Hu, Haotong Tian, Tianbao Xie, Fangfu Liu, Haoye Zhang, Hongzhang Liu, Yuan Gong, Chen Sun, Han Hou, Hui Yang, James Pan, Jianan Lou, Jiayi Mao, Jizheng Liu, Jinpeng Li, Kangyi Liu, Kenkun Liu, Rui Wang, Run Li, Tong Niu, Wenlong Zhang, Wenqi Yan, Xuanzheng Wang, Yuchen Zhang, Yi-Hsin Hung, Yuan Jiang, Zexuan Liu, Zihan Yin, Zijian Ma, Zhiwen Mo

cs.AI

Abstract

Introduciamo xbench, una suite di valutazione dinamica e allineata alle professioni, progettata per colmare il divario tra le capacità degli agenti AI e la produttività nel mondo reale. Mentre i benchmark esistenti si concentrano spesso su competenze tecniche isolate, potrebbero non riflettere accuratamente il valore economico che gli agenti offrono in contesti professionali. Per affrontare questa problematica, xbench si rivolge a domini di rilevanza commerciale con task di valutazione definiti da professionisti del settore. Il nostro framework crea metriche che si correlano fortemente con il valore della produttività, consente la previsione del Technology-Market Fit (TMF) e facilita il monitoraggio delle capacità del prodotto nel tempo. Come implementazioni iniziali, presentiamo due benchmark: Recruitment e Marketing. Per Recruitment, raccogliamo 50 task derivati da scenari reali di headhunting per valutare le capacità degli agenti nel mappare aziende, recuperare informazioni e individuare talenti. Per Marketing, valutiamo la capacità degli agenti di abbinare influencer alle esigenze degli inserzionisti, misurando le loro prestazioni su 50 requisiti degli inserzionisti utilizzando un pool selezionato di 836 influencer candidati. Presentiamo i risultati iniziali di valutazione per i principali agenti contemporanei, stabilendo una baseline per questi domini professionali. I nostri evalset e valutazioni, costantemente aggiornati, sono disponibili su https://xbench.org.

English

We introduce xbench, a dynamic, profession-aligned evaluation suite designed to bridge the gap between AI agent capabilities and real-world productivity. While existing benchmarks often focus on isolated technical skills, they may not accurately reflect the economic value agents deliver in professional settings. To address this, xbench targets commercially significant domains with evaluation tasks defined by industry professionals. Our framework creates metrics that strongly correlate with productivity value, enables prediction of Technology-Market Fit (TMF), and facilitates tracking of product capabilities over time. As our initial implementations, we present two benchmarks: Recruitment and Marketing. For Recruitment, we collect 50 tasks from real-world headhunting business scenarios to evaluate agents' abilities in company mapping, information retrieval, and talent sourcing. For Marketing, we assess agents' ability to match influencers with advertiser needs, evaluating their performance across 50 advertiser requirements using a curated pool of 836 candidate influencers. We present initial evaluation results for leading contemporary agents, establishing a baseline for these professional domains. Our continuously updated evalsets and evaluations are available at https://xbench.org.