Waarom zijn web-AI-agenten kwetsbaarder dan standalone LLM's? Een beveiligingsanalyse

Why Are Web AI Agents More Vulnerable Than Standalone LLMs? A Security Analysis

February 27, 2025

Auteurs: Jeffrey Yang Fan Chiang, Seungjae Lee, Jia-Bin Huang, Furong Huang, Yizheng Chen

cs.AI

Samenvatting

Recente ontwikkelingen in Web AI-agents hebben opmerkelijke capaciteiten getoond bij het aanpakken van complexe webnavigatietaken. Uit opkomend onderzoek blijkt echter dat deze agents kwetsbaarder zijn in vergelijking met standalone Large Language Models (LLM's), ondanks het feit dat beide zijn gebouwd op dezelfde veiligheidsafgestemde modellen. Dit verschil is vooral zorgwekkend gezien de grotere flexibiliteit van Web AI-agents in vergelijking met standalone LLM's, wat hen bloot kan stellen aan een breder scala aan vijandige gebruikersinvoer. Om een raamwerk te bouwen dat deze zorgen aanpakt, onderzoekt deze studie de onderliggende factoren die bijdragen aan de verhoogde kwetsbaarheid van Web AI-agents. Dit verschil komt voort uit de veelzijdige verschillen tussen Web AI-agents en standalone LLM's, evenals de complexe signalen – nuances die eenvoudige evaluatiemetrics, zoals succeskans, vaak niet kunnen vastleggen. Om deze uitdagingen aan te pakken, stellen we een componentniveau-analyse en een meer gedetailleerd, systematisch evaluatiekader voor. Door dit fijnmazige onderzoek identificeren we drie kritieke factoren die de kwetsbaarheid van Web AI-agents versterken: (1) het inbedden van gebruikersdoelen in de systeemprompt, (2) meerstapsactiegeneratie, en (3) observatievermogen. Onze bevindingen benadrukken de dringende noodzaak om de veiligheid en robuustheid in het ontwerp van AI-agents te verbeteren en bieden praktische inzichten voor gerichte verdedigingsstrategieën.

English

Recent advancements in Web AI agents have demonstrated remarkable capabilities in addressing complex web navigation tasks. However, emerging research shows that these agents exhibit greater vulnerability compared to standalone Large Language Models (LLMs), despite both being built upon the same safety-aligned models. This discrepancy is particularly concerning given the greater flexibility of Web AI Agent compared to standalone LLMs, which may expose them to a wider range of adversarial user inputs. To build a scaffold that addresses these concerns, this study investigates the underlying factors that contribute to the increased vulnerability of Web AI agents. Notably, this disparity stems from the multifaceted differences between Web AI agents and standalone LLMs, as well as the complex signals - nuances that simple evaluation metrics, such as success rate, often fail to capture. To tackle these challenges, we propose a component-level analysis and a more granular, systematic evaluation framework. Through this fine-grained investigation, we identify three critical factors that amplify the vulnerability of Web AI agents; (1) embedding user goals into the system prompt, (2) multi-step action generation, and (3) observational capabilities. Our findings highlights the pressing need to enhance security and robustness in AI agent design and provide actionable insights for targeted defense strategies.