SkillsBench: Benchmarken hoe goed agentvaardigheden presteren in diverse taken
SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks
February 13, 2026
Auteurs: Xiangyi Li, Wenbo Chen, Yimin Liu, Shenghan Zheng, Xiaokun Chen, Yifeng He, Yubo Li, Bingran You, Haotian Shen, Jiankai Sun, Shuyi Wang, Qunhong Zeng, Di Wang, Xuandong Zhao, Yuanli Wang, Roey Ben Chaim, Zonglin Di, Yipeng Gao, Junwei He, Yizhuo He, Liqiang Jing, Luyang Kong, Xin Lan, Jiachen Li, Songlin Li, Yijiang Li, Yueqian Lin, Xinyi Liu, Xuanqing Liu, Haoran Lyu, Ze Ma, Bowei Wang, Runhui Wang, Tianyu Wang, Wengao Ye, Yue Zhang, Hanwen Xing, Yiqi Xue, Steven Dillmann, Han-chung Lee
cs.AI
Samenvatting
Agentvaardigheden zijn gestructureerde pakketten van procedurele kennis die LLM-agenten tijdens de inferentie versterken. Ondanks snelle adoptie is er geen standaardmanier om te meten of ze daadwerkelijk helpen. Wij presenteren SkillsBench, een benchmark met 86 taken verdeeld over 11 domeinen, gekoppeld aan zorgvuldig samengestelde Vaardigheden en deterministische verifiers. Elke taak wordt geëvalueerd onder drie condities: geen Vaardigheden, samengestelde Vaardigheden en zelf gegenereerde Vaardigheden. We testen 7 agent-modelconfiguraties over 7.308 trajecten. Samengestelde Vaardigheden verhogen het gemiddelde slagingspercentage met 16,2 procentpunten (pp), maar de effecten variëren sterk per domein (van +4,5 pp voor Software Engineering tot +51,9 pp voor Gezondheidszorg) en 16 van de 84 taken vertonen negatieve delta's. Zelf gegenereerde Vaardigheden bieden gemiddeld geen voordeel, wat aantoont dat modellen niet betrouwbaar de procedurele kennis kunnen produceren waarvan ze profiteren bij het consumeren ervan. Gerichte Vaardigheden met 2-3 modules presteren beter dan uitgebreide documentatie, en kleinere modellen met Vaardigheden kunnen evenaren aan grotere modellen zonder Vaardigheden.
English
Agent Skills are structured packages of procedural knowledge that augment LLM agents at inference time. Despite rapid adoption, there is no standard way to measure whether they actually help. We present SkillsBench, a benchmark of 86 tasks across 11 domains paired with curated Skills and deterministic verifiers. Each task is evaluated under three conditions: no Skills, curated Skills, and self-generated Skills. We test 7 agent-model configurations over 7,308 trajectories. Curated Skills raise average pass rate by 16.2 percentage points(pp), but effects vary widely by domain (+4.5pp for Software Engineering to +51.9pp for Healthcare) and 16 of 84 tasks show negative deltas. Self-generated Skills provide no benefit on average, showing that models cannot reliably author the procedural knowledge they benefit from consuming. Focused Skills with 2--3 modules outperform comprehensive documentation, and smaller models with Skills can match larger models without them.