Навыки агентов в реальных условиях: эмпирическое исследование уязвимостей безопасности в крупномасштабных системах

Agent Skills in the Wild: An Empirical Study of Security Vulnerabilities at Scale

January 15, 2026

Авторы: Yi Liu, Weizhe Wang, Ruitao Feng, Yao Zhang, Guangquan Xu, Gelei Deng, Yuekang Li, Leo Zhang

cs.AI

Аннотация

Появление фреймворков для ИИ-агентов привело к возникновению навыков агентов — модульных пакетов, содержащих инструкции и исполняемый код, которые динамически расширяют возможности агента. Хотя такая архитектура обеспечивает мощную настройку, навыки выполняются с неявным доверием и минимальной проверкой, создавая значительную, но не охарактеризованную поверхность для атак. Мы проводим первое крупномасштабное эмпирическое исследование безопасности этой развивающейся экосистемы, собрав 42 447 навыков с двух крупных маркетплейсов и систематически проанализировав 31 132 из них с помощью SkillScan — многоэтапной системы обнаружения, интегрирующей статический анализ с семантической классификацией на основе больших языковых моделей (LLM). Наши результаты выявляют повсеместные риски безопасности: 26,1% навыков содержат по крайней мере одну уязвимость, охватывающую 14 различных шаблонов в четырёх категориях: инъекция в промпты, эксфильтрация данных, повышение привилегий и риски цепочки поставок. Наиболее распространены эксфильтрация данных (13,3%) и повышение привилегий (11,8%), в то время как 5,2% навыков демонстрируют шаблоны высокой степени серьёзности, что с высокой вероятностью указывает на злонамеренный умысел. Мы обнаружили, что навыки, включающие исполняемые скрипты, в 2,12 раза чаще содержат уязвимости, чем навыки, состоящие только из инструкций (OR=2,12, p<0,001). Наш вклад включает: (1) обоснованную таксономию уязвимостей, выведенную из анализа 8 126 уязвимых навыков; (2) проверенную методику обнаружения с точностью 86,7% и полнотой 82,5%; и (3) открытый набор данных и инструментарий для обнаружения для поддержки будущих исследований. Эти результаты демонстрируют насущную необходимость во внедрении систем разрешений на основе возможностей и обязательной проверки безопасности до того, как данный вектор атак будет шире использован злоумышленниками.

English

The rise of AI agent frameworks has introduced agent skills, modular packages containing instructions and executable code that dynamically extend agent capabilities. While this architecture enables powerful customization, skills execute with implicit trust and minimal vetting, creating a significant yet uncharacterized attack surface. We conduct the first large-scale empirical security analysis of this emerging ecosystem, collecting 42,447 skills from two major marketplaces and systematically analyzing 31,132 using SkillScan, a multi-stage detection framework integrating static analysis with LLM-based semantic classification. Our findings reveal pervasive security risks: 26.1% of skills contain at least one vulnerability, spanning 14 distinct patterns across four categories: prompt injection, data exfiltration, privilege escalation, and supply chain risks. Data exfiltration (13.3%) and privilege escalation (11.8%) are most prevalent, while 5.2% of skills exhibit high-severity patterns strongly suggesting malicious intent. We find that skills bundling executable scripts are 2.12x more likely to contain vulnerabilities than instruction-only skills (OR=2.12, p<0.001). Our contributions include: (1) a grounded vulnerability taxonomy derived from 8,126 vulnerable skills, (2) a validated detection methodology achieving 86.7% precision and 82.5% recall, and (3) an open dataset and detection toolkit to support future research. These results demonstrate an urgent need for capability-based permission systems and mandatory security vetting before this attack vector is further exploited.