OpenSkillEval: Het automatisch auditeren van het open vaardighedenecosysteem voor LLM-agenten

Samenvatting

Vaardigheden, dat wil zeggen gestructureerde workflow-instructies die zijn gedestilleerd voor grote taalmodellen (LLMs), worden steeds belangrijker als mechanisme om de prestaties van agenten te verbeteren bij realistische downstream-taken. Echter, naarmate het open-source vaardigheden-ecosysteem zich snel uitbreidt, blijft het onduidelijk hoe verschillende modellen en agent-frameworks met vaardigheden interageren, hoe de kwaliteit van vaardigheden moet worden geëvalueerd, en hoe gebruikers vaardigheden moeten selecteren onder praktische kosten-prestatie-afwegingen. In dit artikel presenteren we OpenSkillEval, een automatisch evaluatieframework voor zowel vaardigheid-verrijkte agentsystemen als de vaardigheden zelf. In plaats van te vertrouwen op statische benchmarks, construeert OpenSkillEval automatisch realistische taakinstanties uit evoluerende real-world artefacten in vijf categorieën van downstream-toepassingen: presentatiegeneratie, front-end webontwerp, postergeneratie, datavisualisatie en rapportgeneratie. Verder verzamelt en ordent het door de gemeenschap bijgedragen vaardigheden voor gecontroleerde vergelijking onder uniforme taakomstandigheden. Met behulp van meer dan 600 dynamisch gegenereerde taakinstanties en 30 open-source vaardigheden voeren we een systematische evaluatie uit van state-of-the-art modellen en agent-frameworks. Onze resultaten tonen aan dat beschikbaarheid van vaardigheden geen garantie biedt voor effectief gebruik ervan, dat het voordeel van vaardigheidsaugmentatie sterk afhangt van zowel het onderliggende model als het agent-framework, en dat veel publiekelijk populaire vaardigheden niet consistent beter presteren dan basisagenten zonder vaardigheden. Deze bevindingen benadrukken de noodzaak van dynamische, taakgebaseerde evaluatie en bieden praktische inzichten voor het ontwerp, de selectie en de implementatie van vaardigheden voor LLM-agenten. Aanvullende cases en benchmarkbronnen zijn beschikbaar op de projectwebsite: https://yingjiahao14.github.io/OpenSkillEval-Web/.

English

Skills, i.e., structured workflow instructions distilled for large language models (LLMs), are becoming an increasingly important mechanism for improving agent performance on real-world downstream tasks. However, as the open-source skill ecosystem rapidly expands, it remains unclear how different models and agent frameworks interact with skills, how to evaluate skill quality, and how users should select skills under practical cost-performance trade-offs. In this paper, we present OpenSkillEval, an automatic evaluation framework for both skill-augmented agent systems and the skills themselves. Instead of relying on static benchmarks, OpenSkillEval automatically constructs realistic task instances from evolving real-world artifacts across five categories of downstream applications: presentation generation, front-end web design, poster generation, data visualization, and report generation. It further collects and organizes community-contributed skills for controlled comparison under unified task settings. Using more than 600 dynamically generated task instances and 30 open-source skills, we conduct a systematic evaluation of state-of-the-art models and agent frameworks. Our results show that skill availability does not guarantee effective skill usage, that the benefit of skill augmentation depends strongly on both the underlying model and the agent framework, and that many publicly popular skills do not consistently outperform base agents without skills. These findings highlight the need for dynamic, task-grounded evaluation and provide practical insights into the design, selection, and deployment of skills for LLM agents. Additional cases and benchmark resources are available on the project website: https://yingjiahao14.github.io/OpenSkillEval-Web/.