xbench: 직업에 맞춘 실세계 평가를 통한 에이전트 생산성 확장 추적

xbench: Tracking Agents Productivity Scaling with Profession-Aligned Real-World Evaluations

June 16, 2025

저자: Kaiyuan Chen, Yixin Ren, Yang Liu, Xiaobo Hu, Haotong Tian, Tianbao Xie, Fangfu Liu, Haoye Zhang, Hongzhang Liu, Yuan Gong, Chen Sun, Han Hou, Hui Yang, James Pan, Jianan Lou, Jiayi Mao, Jizheng Liu, Jinpeng Li, Kangyi Liu, Kenkun Liu, Rui Wang, Run Li, Tong Niu, Wenlong Zhang, Wenqi Yan, Xuanzheng Wang, Yuchen Zhang, Yi-Hsin Hung, Yuan Jiang, Zexuan Liu, Zihan Yin, Zijian Ma, Zhiwen Mo

cs.AI

초록

우리는 AI 에이전트의 능력과 실제 업무 생산성 간의 격차를 해소하기 위해 설계된 동적이며 직업에 맞춘 평가 도구인 xbench를 소개합니다. 기존 벤치마크가 종종 고립된 기술적 능력에 초점을 맞추는 반면, 이들은 전문직 환경에서 에이전트가 제공하는 경제적 가치를 정확히 반영하지 못할 수 있습니다. 이를 해결하기 위해 xbench는 산업 전문가들이 정의한 평가 과제를 통해 상업적으로 중요한 분야를 대상으로 합니다. 우리의 프레임워크는 생산성 가치와 강한 상관관계를 가지는 지표를 생성하고, 기술-시장 적합성(TMF)을 예측할 수 있도록 하며, 시간에 따른 제품 역량 추적을 용이하게 합니다. 초기 구현으로, 우리는 리크루팅과 마케팅 두 가지 벤치마크를 제시합니다. 리크루팅의 경우, 실제 헤드헌팅 비즈니스 시나리오에서 50개의 과제를 수집하여 에이전트의 회사 매핑, 정보 검색, 인재 발굴 능력을 평가합니다. 마케팅의 경우, 에이전트가 광고주 요구에 맞는 인플루언서를 매칭하는 능력을 평가하며, 836명의 후보 인플루언서 풀을 사용하여 50개의 광고주 요구 사항에 대한 성능을 평가합니다. 우리는 최신 선도적인 에이전트에 대한 초기 평가 결과를 제시하여 이러한 전문 분야에 대한 기준을 설정합니다. 지속적으로 업데이트되는 평가 세트와 평가 결과는 https://xbench.org에서 확인할 수 있습니다.

English

We introduce xbench, a dynamic, profession-aligned evaluation suite designed to bridge the gap between AI agent capabilities and real-world productivity. While existing benchmarks often focus on isolated technical skills, they may not accurately reflect the economic value agents deliver in professional settings. To address this, xbench targets commercially significant domains with evaluation tasks defined by industry professionals. Our framework creates metrics that strongly correlate with productivity value, enables prediction of Technology-Market Fit (TMF), and facilitates tracking of product capabilities over time. As our initial implementations, we present two benchmarks: Recruitment and Marketing. For Recruitment, we collect 50 tasks from real-world headhunting business scenarios to evaluate agents' abilities in company mapping, information retrieval, and talent sourcing. For Marketing, we assess agents' ability to match influencers with advertiser needs, evaluating their performance across 50 advertiser requirements using a curated pool of 836 candidate influencers. We present initial evaluation results for leading contemporary agents, establishing a baseline for these professional domains. Our continuously updated evalsets and evaluations are available at https://xbench.org.