xbench: Produktivitätsskalierung von Agenten verfolgen mit berufsbezogenen, realitätsnahen Evaluierungen

xbench: Tracking Agents Productivity Scaling with Profession-Aligned Real-World Evaluations

June 16, 2025

Autoren: Kaiyuan Chen, Yixin Ren, Yang Liu, Xiaobo Hu, Haotong Tian, Tianbao Xie, Fangfu Liu, Haoye Zhang, Hongzhang Liu, Yuan Gong, Chen Sun, Han Hou, Hui Yang, James Pan, Jianan Lou, Jiayi Mao, Jizheng Liu, Jinpeng Li, Kangyi Liu, Kenkun Liu, Rui Wang, Run Li, Tong Niu, Wenlong Zhang, Wenqi Yan, Xuanzheng Wang, Yuchen Zhang, Yi-Hsin Hung, Yuan Jiang, Zexuan Liu, Zihan Yin, Zijian Ma, Zhiwen Mo

cs.AI

Zusammenfassung

Wir stellen xbench vor, eine dynamische, berufsbezogene Evaluationssuite, die darauf abzielt, die Lücke zwischen den Fähigkeiten von KI-Agenten und der realen Produktivität zu schließen. Während bestehende Benchmarks oft auf isolierte technische Fähigkeiten fokussieren, spiegeln sie möglicherweise nicht genau den wirtschaftlichen Wert wider, den Agenten in professionellen Umgebungen liefern. Um dies zu adressieren, zielt xbench auf kommerziell bedeutende Domänen ab, wobei die Evaluationsaufgaben von Branchenexperten definiert werden. Unser Framework erstellt Metriken, die stark mit dem Produktivitätswert korrelieren, ermöglicht die Vorhersage von Technology-Market Fit (TMF) und erleichtert die Verfolgung von Produktfähigkeiten über die Zeit. Als unsere ersten Implementierungen präsentieren wir zwei Benchmarks: Rekrutierung und Marketing. Für die Rekrutierung sammeln wir 50 Aufgaben aus realen Headhunting-Szenarien, um die Fähigkeiten der Agenten in den Bereichen Unternehmensmapping, Informationsbeschaffung und Talentsuche zu bewerten. Für das Marketing bewerten wir die Fähigkeit der Agenten, Influencer mit den Bedürfnissen von Werbetreibenden abzugleichen, indem wir ihre Leistung anhand von 50 Werbetreibendenanforderungen in einem kuratierten Pool von 836 Kandidaten-Influencern bewerten. Wir präsentieren erste Evaluationsergebnisse für führende zeitgenössische Agenten und etablieren damit eine Baseline für diese professionellen Domänen. Unsere kontinuierlich aktualisierten Evaluationsdatensätze und Bewertungen sind unter https://xbench.org verfügbar.

English

We introduce xbench, a dynamic, profession-aligned evaluation suite designed to bridge the gap between AI agent capabilities and real-world productivity. While existing benchmarks often focus on isolated technical skills, they may not accurately reflect the economic value agents deliver in professional settings. To address this, xbench targets commercially significant domains with evaluation tasks defined by industry professionals. Our framework creates metrics that strongly correlate with productivity value, enables prediction of Technology-Market Fit (TMF), and facilitates tracking of product capabilities over time. As our initial implementations, we present two benchmarks: Recruitment and Marketing. For Recruitment, we collect 50 tasks from real-world headhunting business scenarios to evaluate agents' abilities in company mapping, information retrieval, and talent sourcing. For Marketing, we assess agents' ability to match influencers with advertiser needs, evaluating their performance across 50 advertiser requirements using a curated pool of 836 candidate influencers. We present initial evaluation results for leading contemporary agents, establishing a baseline for these professional domains. Our continuously updated evalsets and evaluations are available at https://xbench.org.