Fähigkeiten von Agenten in der Praxis: Eine empirische Studie zu Sicherheitslücken im großen Maßstab

papers.abstract

Der Aufstieg von KI-Agenten-Frameworks hat Agenten-Skills eingeführt – modulare Pakete, die Anweisungen und ausführbaren Code enthalten und die Fähigkeiten von Agenten dynamisch erweitern. Während diese Architektur eine leistungsstarke Anpassung ermöglicht, führen Skills ihre Aufgaben mit implizitem Vertrauen und minimaler Überprüfung aus, was eine signifikante, jedoch noch nicht charakterisierte Angriffsfläche schafft. Wir führen die erste großangelegte empirische Sicherheitsanalyse dieses aufstrebenden Ökosystems durch, sammeln 42.447 Skills von zwei großen Marktplätzen und analysieren systematisch 31.132 davon mit SkillScan, einem mehrstufigen Erkennungsframework, das statische Analyse mit LLM-basierter semantischer Klassifizierung kombiniert. Unsere Ergebnisse zeigen weitverbreitete Sicherheitsrisiken: 26,1 % der Skills enthalten mindestens eine Schwachstelle, die sich über 14 verschiedene Muster in vier Kategorien erstreckt: Prompt Injection, Datenexfiltration, Rechteausweitung und Supply-Chain-Risiken. Datenexfiltration (13,3 %) und Rechteausweitung (11,8 %) sind am häufigsten vertreten, während 5,2 % der Skills hochriskante Muster aufweisen, die stark auf böswillige Absichten schließen lassen. Wir stellen fest, dass Skills, die ausführbare Skripte bündeln, eine 2,12-fach höhere Wahrscheinlichkeit haben, Schwachstellen zu enthalten, als rein anweisungsbasierte Skills (OR=2,12, p<0,001). Unsere Beiträge umfassen: (1) eine fundierte Schwachstellen-Taxonomie, abgeleitet aus 8.126 anfälligen Skills, (2) eine validierte Erkennungsmethodik mit einer Präzision von 86,7 % und einer Trefferquote von 82,5 % sowie (3) einen offenen Datensatz und ein Erkennungstoolkit zur Unterstützung zukünftiger Forschung. Diese Ergebnisse demonstrieren den dringenden Bedarf an fähigkeitsbasierten Berechtigungssystemen und verbindlichen Sicherheitsüberprüfungen, bevor dieser Angriffsvektor weiter ausgenutzt wird.

English

The rise of AI agent frameworks has introduced agent skills, modular packages containing instructions and executable code that dynamically extend agent capabilities. While this architecture enables powerful customization, skills execute with implicit trust and minimal vetting, creating a significant yet uncharacterized attack surface. We conduct the first large-scale empirical security analysis of this emerging ecosystem, collecting 42,447 skills from two major marketplaces and systematically analyzing 31,132 using SkillScan, a multi-stage detection framework integrating static analysis with LLM-based semantic classification. Our findings reveal pervasive security risks: 26.1% of skills contain at least one vulnerability, spanning 14 distinct patterns across four categories: prompt injection, data exfiltration, privilege escalation, and supply chain risks. Data exfiltration (13.3%) and privilege escalation (11.8%) are most prevalent, while 5.2% of skills exhibit high-severity patterns strongly suggesting malicious intent. We find that skills bundling executable scripts are 2.12x more likely to contain vulnerabilities than instruction-only skills (OR=2.12, p<0.001). Our contributions include: (1) a grounded vulnerability taxonomy derived from 8,126 vulnerable skills, (2) a validated detection methodology achieving 86.7% precision and 82.5% recall, and (3) an open dataset and detection toolkit to support future research. These results demonstrate an urgent need for capability-based permission systems and mandatory security vetting before this attack vector is further exploited.

Fähigkeiten von Agenten in der Praxis: Eine empirische Studie zu Sicherheitslücken im großen Maßstab

Agent Skills in the Wild: An Empirical Study of Security Vulnerabilities at Scale

papers.abstract

Support