OpenSkillEval: Auditoría Automática del Ecosistema de Habilidades Abiertas para Agentes LLM

Resumen

Las habilidades, es decir, instrucciones de flujo de trabajo estructurado destiladas para modelos de lenguaje grandes (LLMs), se están convirtiendo en un mecanismo cada vez más importante para mejorar el rendimiento de los agentes en tareas prácticas del mundo real. Sin embargo, a medida que el ecosistema de habilidades de código abierto se expande rápidamente, aún no está claro cómo interactúan diferentes modelos y marcos de agentes con las habilidades, cómo evaluar la calidad de estas y cómo los usuarios deberían seleccionar habilidades bajo compromisos prácticos entre costo y rendimiento. En este artículo, presentamos OpenSkillEval, un marco de evaluación automática tanto para sistemas de agentes aumentados con habilidades como para las propias habilidades. En lugar de depender de puntos de referencia estáticos, OpenSkillEval construye automáticamente instancias de tareas realistas a partir de artefactos del mundo real en evolución, abarcando cinco categorías de aplicaciones descendentes: generación de presentaciones, diseño web front-end, generación de carteles, visualización de datos y generación de informes. Además, recopila y organiza habilidades contribuidas por la comunidad para realizar comparaciones controladas bajo entornos de tareas unificados. Utilizando más de 600 instancias de tareas generadas dinámicamente y 30 habilidades de código abierto, llevamos a cabo una evaluación sistemática de los modelos y marcos de agentes de última generación. Nuestros resultados muestran que la disponibilidad de habilidades no garantiza un uso efectivo de las mismas, que el beneficio de aumentar las habilidades depende fuertemente tanto del modelo subyacente como del marco del agente, y que muchas habilidades populares públicamente no superan consistentemente a los agentes base sin habilidades. Estos hallazgos resaltan la necesidad de una evaluación dinámica y fundamentada en tareas, y proporcionan ideas prácticas para el diseño, selección e implementación de habilidades para agentes LLM. Recursos adicionales de casos y puntos de referencia están disponibles en el sitio web del proyecto: https://yingjiahao14.github.io/OpenSkillEval-Web/.

English

Skills, i.e., structured workflow instructions distilled for large language models (LLMs), are becoming an increasingly important mechanism for improving agent performance on real-world downstream tasks. However, as the open-source skill ecosystem rapidly expands, it remains unclear how different models and agent frameworks interact with skills, how to evaluate skill quality, and how users should select skills under practical cost-performance trade-offs. In this paper, we present OpenSkillEval, an automatic evaluation framework for both skill-augmented agent systems and the skills themselves. Instead of relying on static benchmarks, OpenSkillEval automatically constructs realistic task instances from evolving real-world artifacts across five categories of downstream applications: presentation generation, front-end web design, poster generation, data visualization, and report generation. It further collects and organizes community-contributed skills for controlled comparison under unified task settings. Using more than 600 dynamically generated task instances and 30 open-source skills, we conduct a systematic evaluation of state-of-the-art models and agent frameworks. Our results show that skill availability does not guarantee effective skill usage, that the benefit of skill augmentation depends strongly on both the underlying model and the agent framework, and that many publicly popular skills do not consistently outperform base agents without skills. These findings highlight the need for dynamic, task-grounded evaluation and provide practical insights into the design, selection, and deployment of skills for LLM agents. Additional cases and benchmark resources are available on the project website: https://yingjiahao14.github.io/OpenSkillEval-Web/.