xbench: Acompanhamento da Escalabilidade de Produtividade de Agentes com Avaliações do Mundo Real Alinhadas à Profissão

xbench: Tracking Agents Productivity Scaling with Profession-Aligned Real-World Evaluations

June 16, 2025

Autores: Kaiyuan Chen, Yixin Ren, Yang Liu, Xiaobo Hu, Haotong Tian, Tianbao Xie, Fangfu Liu, Haoye Zhang, Hongzhang Liu, Yuan Gong, Chen Sun, Han Hou, Hui Yang, James Pan, Jianan Lou, Jiayi Mao, Jizheng Liu, Jinpeng Li, Kangyi Liu, Kenkun Liu, Rui Wang, Run Li, Tong Niu, Wenlong Zhang, Wenqi Yan, Xuanzheng Wang, Yuchen Zhang, Yi-Hsin Hung, Yuan Jiang, Zexuan Liu, Zihan Yin, Zijian Ma, Zhiwen Mo

cs.AI

Resumo

Apresentamos o xbench, uma suíte de avaliação dinâmica e alinhada a profissões, projetada para preencher a lacuna entre as capacidades dos agentes de IA e a produtividade no mundo real. Embora os benchmarks existentes frequentemente se concentrem em habilidades técnicas isoladas, eles podem não refletir com precisão o valor econômico que os agentes entregam em ambientes profissionais. Para abordar isso, o xbench foca em domínios comercialmente significativos, com tarefas de avaliação definidas por profissionais da indústria. Nosso framework cria métricas que se correlacionam fortemente com o valor de produtividade, permite a previsão do Ajuste Tecnologia-Mercado (TMF, na sigla em inglês) e facilita o acompanhamento das capacidades do produto ao longo do tempo. Como nossas implementações iniciais, apresentamos dois benchmarks: Recrutamento e Marketing. Para Recrutamento, coletamos 50 tarefas de cenários reais de negócios de headhunting para avaliar as habilidades dos agentes em mapeamento de empresas, recuperação de informações e busca de talentos. Para Marketing, avaliamos a capacidade dos agentes de corresponder influenciadores às necessidades dos anunciantes, avaliando seu desempenho em 50 requisitos de anunciantes usando um conjunto selecionado de 836 influenciadores candidatos. Apresentamos os resultados iniciais de avaliação para os principais agentes contemporâneos, estabelecendo uma linha de base para esses domínios profissionais. Nossos conjuntos de avaliação e avaliações, continuamente atualizados, estão disponíveis em https://xbench.org.

English

We introduce xbench, a dynamic, profession-aligned evaluation suite designed to bridge the gap between AI agent capabilities and real-world productivity. While existing benchmarks often focus on isolated technical skills, they may not accurately reflect the economic value agents deliver in professional settings. To address this, xbench targets commercially significant domains with evaluation tasks defined by industry professionals. Our framework creates metrics that strongly correlate with productivity value, enables prediction of Technology-Market Fit (TMF), and facilitates tracking of product capabilities over time. As our initial implementations, we present two benchmarks: Recruitment and Marketing. For Recruitment, we collect 50 tasks from real-world headhunting business scenarios to evaluate agents' abilities in company mapping, information retrieval, and talent sourcing. For Marketing, we assess agents' ability to match influencers with advertiser needs, evaluating their performance across 50 advertiser requirements using a curated pool of 836 candidate influencers. We present initial evaluation results for leading contemporary agents, establishing a baseline for these professional domains. Our continuously updated evalsets and evaluations are available at https://xbench.org.