xbench: Отслеживание масштабирования продуктивности агентов с помощью профессионально-ориентированных оценок в реальных условиях

xbench: Tracking Agents Productivity Scaling with Profession-Aligned Real-World Evaluations

June 16, 2025

Авторы: Kaiyuan Chen, Yixin Ren, Yang Liu, Xiaobo Hu, Haotong Tian, Tianbao Xie, Fangfu Liu, Haoye Zhang, Hongzhang Liu, Yuan Gong, Chen Sun, Han Hou, Hui Yang, James Pan, Jianan Lou, Jiayi Mao, Jizheng Liu, Jinpeng Li, Kangyi Liu, Kenkun Liu, Rui Wang, Run Li, Tong Niu, Wenlong Zhang, Wenqi Yan, Xuanzheng Wang, Yuchen Zhang, Yi-Hsin Hung, Yuan Jiang, Zexuan Liu, Zihan Yin, Zijian Ma, Zhiwen Mo

cs.AI

Аннотация

Мы представляем xbench — динамический набор для оценки, ориентированный на профессиональные задачи, который призван сократить разрыв между возможностями ИИ-агентов и их реальной производительностью. В то время как существующие бенчмарки часто сосредоточены на изолированных технических навыках, они могут не точно отражать экономическую ценность, которую агенты приносят в профессиональной среде. Для решения этой проблемы xbench нацелен на коммерчески значимые области, используя задачи для оценки, определенные профессионалами отрасли. Наша система создает метрики, которые тесно коррелируют с показателями производительности, позволяет прогнозировать соответствие технологии рынку (Technology-Market Fit, TMF) и облегчает отслеживание возможностей продукта с течением времени. В качестве первых реализаций мы представляем два бенчмарка: Подбор персонала и Маркетинг. Для Подбора персонала мы собрали 50 задач из реальных сценариев хедхантинга, чтобы оценить способности агентов в области анализа компаний, поиска информации и поиска талантов. Для Маркетинга мы оцениваем способность агентов подбирать инфлюенсеров в соответствии с потребностями рекламодателей, проверяя их производительность на 50 требованиях рекламодателей с использованием отобранной базы из 836 кандидатов-инфлюенсеров. Мы представляем начальные результаты оценки для ведущих современных агентов, устанавливая базовые показатели для этих профессиональных областей. Наши постоянно обновляемые наборы данных и результаты оценки доступны на сайте https://xbench.org.

English

We introduce xbench, a dynamic, profession-aligned evaluation suite designed to bridge the gap between AI agent capabilities and real-world productivity. While existing benchmarks often focus on isolated technical skills, they may not accurately reflect the economic value agents deliver in professional settings. To address this, xbench targets commercially significant domains with evaluation tasks defined by industry professionals. Our framework creates metrics that strongly correlate with productivity value, enables prediction of Technology-Market Fit (TMF), and facilitates tracking of product capabilities over time. As our initial implementations, we present two benchmarks: Recruitment and Marketing. For Recruitment, we collect 50 tasks from real-world headhunting business scenarios to evaluate agents' abilities in company mapping, information retrieval, and talent sourcing. For Marketing, we assess agents' ability to match influencers with advertiser needs, evaluating their performance across 50 advertiser requirements using a curated pool of 836 candidate influencers. We present initial evaluation results for leading contemporary agents, establishing a baseline for these professional domains. Our continuously updated evalsets and evaluations are available at https://xbench.org.