Diener, Verfolger, Räuber: Wie ein ehrlicher, hilfsbereiter und harmloser (3H) Agent adversarische Fähigkeiten freisetzt

Servant, Stalker, Predator: How An Honest, Helpful, And Harmless (3H) Agent Unlocks Adversarial Skills

August 27, 2025

papers.authors: David Noever

cs.AI

papers.abstract

Dieses Papier identifiziert und analysiert eine neue Schwachstellenklasse in Agentensystemen, die auf dem Model Context Protocol (MCP) basieren. Die Angriffskette beschreibt und demonstriert, wie harmlose, individuell autorisierte Aufgaben orchestriert werden können, um schädliche emergente Verhaltensweisen zu erzeugen. Durch systematische Analysen mit dem MITRE ATLAS-Framework zeigen wir, wie 95 getestete Agenten mit Zugriff auf mehrere Dienste – einschließlich Browser-Automatisierung, Finanzanalyse, Standortverfolgung und Code-Bereitstellung – legitime Operationen zu ausgeklügelten Angriffssequenzen verketten können, die die Sicherheitsgrenzen jedes einzelnen Dienstes überschreiten. Diese Red-Team-Übungen untersuchen, ob aktuelle MCP-Architekturen die domänenübergreifenden Sicherheitsmaßnahmen vermissen, die notwendig sind, um eine große Kategorie von kompositionellen Angriffen zu erkennen oder zu verhindern. Wir präsentieren empirische Belege für spezifische Angriffsketten, die durch Dienstorchestrierung gezielten Schaden anrichten, einschließlich Datenexfiltration, finanzieller Manipulation und Infrastrukturkompromittierung. Diese Erkenntnisse zeigen, dass die grundlegende Sicherheitsannahme der Dienstisolierung versagt, wenn Agenten Aktionen über mehrere Domänen hinweg koordinieren können, wodurch eine exponentielle Angriffsfläche entsteht, die mit jeder zusätzlichen Fähigkeit wächst. Diese Forschung bietet einen grundlegenden experimentellen Rahmen, der nicht bewertet, ob Agenten MCP-Benchmark-Aufgaben abschließen können, sondern was passiert, wenn sie diese zu gut erfüllen und über mehrere Dienste hinweg optimieren, auf eine Weise, die menschliche Erwartungen und Sicherheitsbeschränkungen verletzt. Wir schlagen drei konkrete experimentelle Richtungen unter Verwendung des bestehenden MCP-Benchmark-Suites vor.

English

This paper identifies and analyzes a novel vulnerability class in Model Context Protocol (MCP) based agent systems. The attack chain describes and demonstrates how benign, individually authorized tasks can be orchestrated to produce harmful emergent behaviors. Through systematic analysis using the MITRE ATLAS framework, we demonstrate how 95 agents tested with access to multiple services-including browser automation, financial analysis, location tracking, and code deployment-can chain legitimate operations into sophisticated attack sequences that extend beyond the security boundaries of any individual service. These red team exercises survey whether current MCP architectures lack cross-domain security measures necessary to detect or prevent a large category of compositional attacks. We present empirical evidence of specific attack chains that achieve targeted harm through service orchestration, including data exfiltration, financial manipulation, and infrastructure compromise. These findings reveal that the fundamental security assumption of service isolation fails when agents can coordinate actions across multiple domains, creating an exponential attack surface that grows with each additional capability. This research provides a barebones experimental framework that evaluate not whether agents can complete MCP benchmark tasks, but what happens when they complete them too well and optimize across multiple services in ways that violate human expectations and safety constraints. We propose three concrete experimental directions using the existing MCP benchmark suite.