xbench : Suivi de la productivité des agents avec des évaluations alignées sur la profession dans des contextes réels

xbench: Tracking Agents Productivity Scaling with Profession-Aligned Real-World Evaluations

June 16, 2025

Auteurs: Kaiyuan Chen, Yixin Ren, Yang Liu, Xiaobo Hu, Haotong Tian, Tianbao Xie, Fangfu Liu, Haoye Zhang, Hongzhang Liu, Yuan Gong, Chen Sun, Han Hou, Hui Yang, James Pan, Jianan Lou, Jiayi Mao, Jizheng Liu, Jinpeng Li, Kangyi Liu, Kenkun Liu, Rui Wang, Run Li, Tong Niu, Wenlong Zhang, Wenqi Yan, Xuanzheng Wang, Yuchen Zhang, Yi-Hsin Hung, Yuan Jiang, Zexuan Liu, Zihan Yin, Zijian Ma, Zhiwen Mo

cs.AI

Résumé

Nous présentons xbench, une suite d'évaluation dynamique et alignée sur les professions, conçue pour combler l'écart entre les capacités des agents d'IA et la productivité dans le monde réel. Alors que les benchmarks existants se concentrent souvent sur des compétences techniques isolées, ils ne reflètent pas toujours avec précision la valeur économique que les agents apportent dans des contextes professionnels. Pour répondre à cette problématique, xbench cible des domaines d'importance commerciale avec des tâches d'évaluation définies par des professionnels de l'industrie. Notre cadre crée des métriques fortement corrélées à la valeur de productivité, permet de prédire l'adéquation technologie-marché (Technology-Market Fit, TMF) et facilite le suivi des capacités des produits au fil du temps. En tant que premières implémentations, nous présentons deux benchmarks : Recrutement et Marketing. Pour le Recrutement, nous collectons 50 tâches issues de scénarios réels de chasse de tête pour évaluer les capacités des agents en matière de cartographie d'entreprise, de recherche d'information et de sourcing de talents. Pour le Marketing, nous évaluons la capacité des agents à faire correspondre des influenceurs aux besoins des annonceurs, en testant leurs performances sur 50 exigences publicitaires à l'aide d'un pool sélectionné de 836 influenceurs candidats. Nous présentons les résultats initiaux d'évaluation pour les principaux agents contemporains, établissant ainsi une référence pour ces domaines professionnels. Nos ensembles d'évaluation et évaluations, mis à jour en continu, sont disponibles à l'adresse https://xbench.org.

English

We introduce xbench, a dynamic, profession-aligned evaluation suite designed to bridge the gap between AI agent capabilities and real-world productivity. While existing benchmarks often focus on isolated technical skills, they may not accurately reflect the economic value agents deliver in professional settings. To address this, xbench targets commercially significant domains with evaluation tasks defined by industry professionals. Our framework creates metrics that strongly correlate with productivity value, enables prediction of Technology-Market Fit (TMF), and facilitates tracking of product capabilities over time. As our initial implementations, we present two benchmarks: Recruitment and Marketing. For Recruitment, we collect 50 tasks from real-world headhunting business scenarios to evaluate agents' abilities in company mapping, information retrieval, and talent sourcing. For Marketing, we assess agents' ability to match influencers with advertiser needs, evaluating their performance across 50 advertiser requirements using a curated pool of 836 candidate influencers. We present initial evaluation results for leading contemporary agents, establishing a baseline for these professional domains. Our continuously updated evalsets and evaluations are available at https://xbench.org.