OpenSkillEval: Автоматический аудит экосистемы открытых навыков для LLM-агентов

Аннотация

Навыки, то есть инструкции по структурированным рабочим процессам, адаптированные для больших языковых моделей (БЯМ), становятся всё более важным механизмом повышения производительности агентов в реальных прикладных задачах. Однако по мере быстрого расширения экосистемы навыков с открытым исходным кодом остаётся неясным, как различные модели и агентные фреймворки взаимодействуют с навыками, как оценивать их качество и как пользователям следует выбирать навыки с учётом практических компромиссов между стоимостью и производительностью. В данной статье мы представляем OpenSkillEval — автоматический фреймворк для оценки как систем агентов, дополненных навыками, так и самих навыков. В отличие от статических эталонных тестов, OpenSkillEval автоматически формирует реалистичные экземпляры задач на основе динамически обновляемых реальных артефактов в пяти категориях прикладных приложений: создание презентаций, фронтенд-дизайн, генерация постеров, визуализация данных и формирование отчётов. Кроме того, фреймворк собирает и систематизирует навыки, предоставленные сообществом, для контролируемого сравнения в единых условиях задач. Используя более 600 динамически генерируемых экземпляров задач и 30 навыков с открытым исходным кодом, мы проводим систематическую оценку современных моделей и агентных фреймворков. Наши результаты показывают, что наличие навыков не гарантирует их эффективного использования; что польза от дополнения навыками сильно зависит как от базовой модели, так и от агентного фреймворка; и что многие широко распространённые навыки не демонстрируют стабильного превосходства над базовыми агентами без навыков. Эти выводы подчёркивают необходимость динамической оценки, привязанной к конкретным задачам, и дают практические рекомендации по разработке, выбору и развёртыванию навыков для агентов на основе БЯМ. Дополнительные примеры и ресурсы для эталонного тестирования доступны на веб-сайте проекта: https://yingjiahao14.github.io/OpenSkillEval-Web/.

English

Skills, i.e., structured workflow instructions distilled for large language models (LLMs), are becoming an increasingly important mechanism for improving agent performance on real-world downstream tasks. However, as the open-source skill ecosystem rapidly expands, it remains unclear how different models and agent frameworks interact with skills, how to evaluate skill quality, and how users should select skills under practical cost-performance trade-offs. In this paper, we present OpenSkillEval, an automatic evaluation framework for both skill-augmented agent systems and the skills themselves. Instead of relying on static benchmarks, OpenSkillEval automatically constructs realistic task instances from evolving real-world artifacts across five categories of downstream applications: presentation generation, front-end web design, poster generation, data visualization, and report generation. It further collects and organizes community-contributed skills for controlled comparison under unified task settings. Using more than 600 dynamically generated task instances and 30 open-source skills, we conduct a systematic evaluation of state-of-the-art models and agent frameworks. Our results show that skill availability does not guarantee effective skill usage, that the benefit of skill augmentation depends strongly on both the underlying model and the agent framework, and that many publicly popular skills do not consistently outperform base agents without skills. These findings highlight the need for dynamic, task-grounded evaluation and provide practical insights into the design, selection, and deployment of skills for LLM agents. Additional cases and benchmark resources are available on the project website: https://yingjiahao14.github.io/OpenSkillEval-Web/.