Warum sind Web-AI-Agenten anfälliger als eigenständige LLMs? Eine Sicherheitsanalyse

Why Are Web AI Agents More Vulnerable Than Standalone LLMs? A Security Analysis

February 27, 2025

Autoren: Jeffrey Yang Fan Chiang, Seungjae Lee, Jia-Bin Huang, Furong Huang, Yizheng Chen

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Web-KI-Agenten haben bemerkenswerte Fähigkeiten bei der Bewältigung komplexer Web-Navigationsaufgaben gezeigt. Neuere Forschungsergebnisse zeigen jedoch, dass diese Agenten im Vergleich zu eigenständigen Large Language Models (LLMs) eine größere Anfälligkeit aufweisen, obwohl beide auf denselben sicherheitsausgerichteten Modellen basieren. Diese Diskrepanz ist besonders besorgniserregend, da Web-KI-Agenten im Vergleich zu eigenständigen LLMs eine größere Flexibilität aufweisen, was sie einem breiteren Spektrum von adversarischen Benutzereingaben aussetzen könnte. Um ein Gerüst zu schaffen, das diese Bedenken adressiert, untersucht diese Studie die zugrunde liegenden Faktoren, die zur erhöhten Anfälligkeit von Web-KI-Agenten beitragen. Insbesondere resultiert diese Diskrepanz aus den vielschichtigen Unterschieden zwischen Web-KI-Agenten und eigenständigen LLMs sowie den komplexen Signalen – Nuancen, die einfache Bewertungsmetriken wie die Erfolgsrate oft nicht erfassen. Um diese Herausforderungen zu bewältigen, schlagen wir eine Komponentenanalyse und ein detaillierteres, systematisches Bewertungsframework vor. Durch diese feingranulare Untersuchung identifizieren wir drei kritische Faktoren, die die Anfälligkeit von Web-KI-Agenten verstärken: (1) die Einbettung von Benutzerzielen in den System-Prompt, (2) die Erzeugung von mehrstufigen Aktionen und (3) die Beobachtungsfähigkeiten. Unsere Ergebnisse unterstreichen den dringenden Bedarf, die Sicherheit und Robustheit im Design von KI-Agenten zu verbessern, und liefern umsetzbare Erkenntnisse für gezielte Verteidigungsstrategien.

English

Recent advancements in Web AI agents have demonstrated remarkable capabilities in addressing complex web navigation tasks. However, emerging research shows that these agents exhibit greater vulnerability compared to standalone Large Language Models (LLMs), despite both being built upon the same safety-aligned models. This discrepancy is particularly concerning given the greater flexibility of Web AI Agent compared to standalone LLMs, which may expose them to a wider range of adversarial user inputs. To build a scaffold that addresses these concerns, this study investigates the underlying factors that contribute to the increased vulnerability of Web AI agents. Notably, this disparity stems from the multifaceted differences between Web AI agents and standalone LLMs, as well as the complex signals - nuances that simple evaluation metrics, such as success rate, often fail to capture. To tackle these challenges, we propose a component-level analysis and a more granular, systematic evaluation framework. Through this fine-grained investigation, we identify three critical factors that amplify the vulnerability of Web AI agents; (1) embedding user goals into the system prompt, (2) multi-step action generation, and (3) observational capabilities. Our findings highlights the pressing need to enhance security and robustness in AI agent design and provide actionable insights for targeted defense strategies.