SkillsBench: Evaluación de la Eficacia de Habilidades de Agentes en Tareas Diversas
SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks
February 13, 2026
Autores: Xiangyi Li, Wenbo Chen, Yimin Liu, Shenghan Zheng, Xiaokun Chen, Yifeng He, Yubo Li, Bingran You, Haotian Shen, Jiankai Sun, Shuyi Wang, Qunhong Zeng, Di Wang, Xuandong Zhao, Yuanli Wang, Roey Ben Chaim, Zonglin Di, Yipeng Gao, Junwei He, Yizhuo He, Liqiang Jing, Luyang Kong, Xin Lan, Jiachen Li, Songlin Li, Yijiang Li, Yueqian Lin, Xinyi Liu, Xuanqing Liu, Haoran Lyu, Ze Ma, Bowei Wang, Runhui Wang, Tianyu Wang, Wengao Ye, Yue Zhang, Hanwen Xing, Yiqi Xue, Steven Dillmann, Han-chung Lee
cs.AI
Resumen
Las Habilidades de Agente son paquetes estructurados de conocimiento procedimental que mejoran a los agentes de LLM durante el tiempo de inferencia. A pesar de su rápida adopción, no existe una forma estándar de medir si realmente ayudan. Presentamos SkillsBench, un benchmark de 86 tareas en 11 dominios, emparejadas con Habilidades curadas y verificadores deterministas. Cada tarea se evalúa bajo tres condiciones: sin Habilidades, con Habilidades curadas y con Habilidades autogeneradas. Probamos 7 configuraciones de modelos de agente a lo largo de 7,308 trayectorias. Las Habilidades curadas aumentan la tasa de aprobación promedio en 16.2 puntos porcentuales (pp), pero los efectos varían ampliamente según el dominio (desde +4.5pp para Ingeniería de Software hasta +51.9pp para Salud) y 16 de las 84 tareas muestran deltas negativos. Las Habilidades autogeneradas no proporcionan beneficio alguno en promedio, demostrando que los modelos no pueden crear de manera confiable el conocimiento procedimental del que se benefician al consumirlo. Las Habilidades enfocadas con 2-3 módulos superan a la documentación exhaustiva, y los modelos más pequeños con Habilidades pueden igualar el rendimiento de modelos más grandes sin ellas.
English
Agent Skills are structured packages of procedural knowledge that augment LLM agents at inference time. Despite rapid adoption, there is no standard way to measure whether they actually help. We present SkillsBench, a benchmark of 86 tasks across 11 domains paired with curated Skills and deterministic verifiers. Each task is evaluated under three conditions: no Skills, curated Skills, and self-generated Skills. We test 7 agent-model configurations over 7,308 trajectories. Curated Skills raise average pass rate by 16.2 percentage points(pp), but effects vary widely by domain (+4.5pp for Software Engineering to +51.9pp for Healthcare) and 16 of 84 tasks show negative deltas. Self-generated Skills provide no benefit on average, showing that models cannot reliably author the procedural knowledge they benefit from consuming. Focused Skills with 2--3 modules outperform comprehensive documentation, and smaller models with Skills can match larger models without them.