SkillsBench : Évaluation de l'efficacité des compétences des agents sur diverses tâches
SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks
February 13, 2026
papers.authors: Xiangyi Li, Wenbo Chen, Yimin Liu, Shenghan Zheng, Xiaokun Chen, Yifeng He, Yubo Li, Bingran You, Haotian Shen, Jiankai Sun, Shuyi Wang, Qunhong Zeng, Di Wang, Xuandong Zhao, Yuanli Wang, Roey Ben Chaim, Zonglin Di, Yipeng Gao, Junwei He, Yizhuo He, Liqiang Jing, Luyang Kong, Xin Lan, Jiachen Li, Songlin Li, Yijiang Li, Yueqian Lin, Xinyi Liu, Xuanqing Liu, Haoran Lyu, Ze Ma, Bowei Wang, Runhui Wang, Tianyu Wang, Wengao Ye, Yue Zhang, Hanwen Xing, Yiqi Xue, Steven Dillmann, Han-chung Lee
cs.AI
papers.abstract
Les Compétences d'Agent sont des ensembles structurés de connaissances procédurales qui améliorent les agents LLM au moment de l'inférence. Malgré une adoption rapide, il n'existe pas de méthode standard pour mesurer si elles sont réellement utiles. Nous présentons SkillsBench, un benchmark de 86 tâches réparties dans 11 domaines, associées à des Compétences sélectionnées et des vérificateurs déterministes. Chaque tâche est évaluée dans trois conditions : sans Compétences, avec des Compétences sélectionnées, et avec des Compétences auto-générées. Nous testons 7 configurations d'agents-modèles sur 7 308 trajectoires. Les Compétences sélectionnées augmentent le taux de réussite moyen de 16,2 points de pourcentage (pp), mais les effets varient considérablement selon le domaine (+4,5 pp pour le Génie Logiciel à +51,9 pp pour la Santé) et 16 tâches sur 84 présentent des écarts négatifs. Les Compétences auto-générées n'apportent en moyenne aucun bénéfice, montrant que les modèles ne peuvent pas créer de manière fiable les connaissances procédurales dont ils bénéficient en les consommant. Les Compétences ciblées avec 2 à 3 modules surpassent la documentation exhaustive, et les modèles plus petits dotés de Compétences peuvent égaler les modèles plus grands sans elles.
English
Agent Skills are structured packages of procedural knowledge that augment LLM agents at inference time. Despite rapid adoption, there is no standard way to measure whether they actually help. We present SkillsBench, a benchmark of 86 tasks across 11 domains paired with curated Skills and deterministic verifiers. Each task is evaluated under three conditions: no Skills, curated Skills, and self-generated Skills. We test 7 agent-model configurations over 7,308 trajectories. Curated Skills raise average pass rate by 16.2 percentage points(pp), but effects vary widely by domain (+4.5pp for Software Engineering to +51.9pp for Healthcare) and 16 of 84 tasks show negative deltas. Self-generated Skills provide no benefit on average, showing that models cannot reliably author the procedural knowledge they benefit from consuming. Focused Skills with 2--3 modules outperform comprehensive documentation, and smaller models with Skills can match larger models without them.