xbench: Het volgen van productiviteitsschaalbaarheid van agents met professioneel afgestemde, real-world evaluaties

xbench: Tracking Agents Productivity Scaling with Profession-Aligned Real-World Evaluations

June 16, 2025

Auteurs: Kaiyuan Chen, Yixin Ren, Yang Liu, Xiaobo Hu, Haotong Tian, Tianbao Xie, Fangfu Liu, Haoye Zhang, Hongzhang Liu, Yuan Gong, Chen Sun, Han Hou, Hui Yang, James Pan, Jianan Lou, Jiayi Mao, Jizheng Liu, Jinpeng Li, Kangyi Liu, Kenkun Liu, Rui Wang, Run Li, Tong Niu, Wenlong Zhang, Wenqi Yan, Xuanzheng Wang, Yuchen Zhang, Yi-Hsin Hung, Yuan Jiang, Zexuan Liu, Zihan Yin, Zijian Ma, Zhiwen Mo

cs.AI

Samenvatting

We introduceren xbench, een dynamische, op beroepen afgestemde evaluatiesuite die is ontworpen om de kloof tussen de mogelijkheden van AI-agents en de productiviteit in de praktijk te overbruggen. Terwijl bestaande benchmarks zich vaak richten op geïsoleerde technische vaardigheden, weerspiegelen ze mogelijk niet nauwkeurig de economische waarde die agents in professionele omgevingen leveren. Om dit aan te pakken, richt xbench zich op commercieel significante domeinen met evaluatietaken die zijn gedefinieerd door professionals uit de industrie. Ons framework creëert metrieken die sterk correleren met productiviteitswaarde, maakt het mogelijk om Technology-Market Fit (TMF) te voorspellen, en vergemakkelijkt het volgen van productmogelijkheden over tijd. Als onze eerste implementaties presenteren we twee benchmarks: Recruitment en Marketing. Voor Recruitment verzamelen we 50 taken uit real-world headhunting-bedrijfsscenario's om de vaardigheden van agents in bedrijfsmapping, informatie retrieval en talent sourcing te evalueren. Voor Marketing beoordelen we het vermogen van agents om influencers te matchen met de behoeften van adverteerders, waarbij we hun prestaties evalueren over 50 adverteerdervereisten met behulp van een gecureerde pool van 836 kandidaat-influencers. We presenteren initiële evaluatieresultaten voor toonaangevende hedendaagse agents, waarmee we een basislijn voor deze professionele domeinen vaststellen. Onze continu bijgewerkte evalsets en evaluaties zijn beschikbaar op https://xbench.org.

English

We introduce xbench, a dynamic, profession-aligned evaluation suite designed to bridge the gap between AI agent capabilities and real-world productivity. While existing benchmarks often focus on isolated technical skills, they may not accurately reflect the economic value agents deliver in professional settings. To address this, xbench targets commercially significant domains with evaluation tasks defined by industry professionals. Our framework creates metrics that strongly correlate with productivity value, enables prediction of Technology-Market Fit (TMF), and facilitates tracking of product capabilities over time. As our initial implementations, we present two benchmarks: Recruitment and Marketing. For Recruitment, we collect 50 tasks from real-world headhunting business scenarios to evaluate agents' abilities in company mapping, information retrieval, and talent sourcing. For Marketing, we assess agents' ability to match influencers with advertiser needs, evaluating their performance across 50 advertiser requirements using a curated pool of 836 candidate influencers. We present initial evaluation results for leading contemporary agents, establishing a baseline for these professional domains. Our continuously updated evalsets and evaluations are available at https://xbench.org.