Vaardigheden van Agents in het Wild: Een Empirische Studie naar Beveiligingskwetsbaarheden op Grote Schaal

Agent Skills in the Wild: An Empirical Study of Security Vulnerabilities at Scale

January 15, 2026

Auteurs: Yi Liu, Weizhe Wang, Ruitao Feng, Yao Zhang, Guangquan Xu, Gelei Deng, Yuekang Li, Leo Zhang

cs.AI

Samenvatting

De opkomst van AI-agentframeworks heeft agent skills geïntroduceerd: modulaire pakketten met instructies en uitvoerbare code die de mogelijkheden van agents dynamisch uitbreiden. Hoewel deze architectuur krachtige aanpassing mogelijk maakt, worden skills uitgevoerd met impliciet vertrouwen en minimale controle, wat een significant maar nog niet gekarakteriseerd aanvalsoppervlak creëert. Wij voeren de eerste grootschalige empirische beveiligingsanalyse uit van dit opkomende ecosysteem, verzamelen 42.447 skills van twee grote marktplaatsen en analyseren er systematisch 31.132 met SkillScan, een multi-stagedetectieframework dat statische analyse integreert met op LLM gebaseerde semantische classificatie. Onze bevindingen onthullen alomtegenwoordige beveiligingsrisico's: 26,1% van de skills bevat ten minste één kwetsbaarheid, verspreid over 14 verschillende patronen in vier categorieën: prompt injection, data-exfiltratie, privilege escalation en supply chain-risico's. Data-exfiltratie (13,3%) en privilege escalation (11,8%) komen het meest voor, terwijl 5,2% van de skills patronen met hoge ernst vertoont die sterk op kwaadwillige intentie wijzen. Wij constateren dat skills die uitvoerbare scripts bundelen 2,12 keer meer kans hebben op kwetsbaarheden dan skills die alleen instructies bevatten (OR=2,12, p<0,001). Onze bijdragen omvatten: (1) een gefundeerde taxonomie van kwetsbaarheden afgeleid van 8.126 kwetsbare skills, (2) een gevalideerde detectiemethodologie met een precisie van 86,7% en een recall van 82,5%, en (3) een open dataset en detectietoolkit om toekomstig onderzoek te ondersteunen. Deze resultaten tonen een dringende behoefte aan op capaciteiten gebaseerde permissiesystemen en verplichte beveiligingscontroles voordat dit aanvalsvector verder wordt uitgebuit.

English

The rise of AI agent frameworks has introduced agent skills, modular packages containing instructions and executable code that dynamically extend agent capabilities. While this architecture enables powerful customization, skills execute with implicit trust and minimal vetting, creating a significant yet uncharacterized attack surface. We conduct the first large-scale empirical security analysis of this emerging ecosystem, collecting 42,447 skills from two major marketplaces and systematically analyzing 31,132 using SkillScan, a multi-stage detection framework integrating static analysis with LLM-based semantic classification. Our findings reveal pervasive security risks: 26.1% of skills contain at least one vulnerability, spanning 14 distinct patterns across four categories: prompt injection, data exfiltration, privilege escalation, and supply chain risks. Data exfiltration (13.3%) and privilege escalation (11.8%) are most prevalent, while 5.2% of skills exhibit high-severity patterns strongly suggesting malicious intent. We find that skills bundling executable scripts are 2.12x more likely to contain vulnerabilities than instruction-only skills (OR=2.12, p<0.001). Our contributions include: (1) a grounded vulnerability taxonomy derived from 8,126 vulnerable skills, (2) a validated detection methodology achieving 86.7% precision and 82.5% recall, and (3) an open dataset and detection toolkit to support future research. These results demonstrate an urgent need for capability-based permission systems and mandatory security vetting before this attack vector is further exploited.