Por que os Agentes de IA na Web São Mais Vulneráveis do que os LLMs Independentes? Uma Análise de Segurança

Why Are Web AI Agents More Vulnerable Than Standalone LLMs? A Security Analysis

February 27, 2025

Autores: Jeffrey Yang Fan Chiang, Seungjae Lee, Jia-Bin Huang, Furong Huang, Yizheng Chen

cs.AI

Resumo

Os recentes avanços em agentes de IA para a web demonstraram capacidades notáveis na resolução de tarefas complexas de navegação na web. No entanto, pesquisas emergentes mostram que esses agentes exibem maior vulnerabilidade em comparação com modelos de linguagem grandes (LLMs) autônomos, apesar de ambos serem construídos sobre os mesmos modelos alinhados com segurança. Essa discrepância é particularmente preocupante, considerando a maior flexibilidade dos agentes de IA para a web em comparação com LLMs autônomos, o que pode expô-los a uma gama mais ampla de entradas adversárias de usuários. Para construir uma estrutura que aborde essas preocupações, este estudo investiga os fatores subjacentes que contribuem para o aumento da vulnerabilidade dos agentes de IA para a web. Notavelmente, essa disparidade decorre das diferenças multifacetadas entre agentes de IA para a web e LLMs autônomos, bem como dos sinais complexos — nuances que métricas simples de avaliação, como a taxa de sucesso, frequentemente falham em capturar. Para enfrentar esses desafios, propomos uma análise em nível de componente e uma estrutura de avaliação mais granular e sistemática. Por meio dessa investigação detalhada, identificamos três fatores críticos que amplificam a vulnerabilidade dos agentes de IA para a web: (1) a incorporação dos objetivos do usuário no prompt do sistema, (2) a geração de ações em múltiplas etapas e (3) as capacidades de observação. Nossas descobertas destacam a necessidade urgente de aprimorar a segurança e a robustez no design de agentes de IA e fornecem insights acionáveis para estratégias de defesa direcionadas.

English

Recent advancements in Web AI agents have demonstrated remarkable capabilities in addressing complex web navigation tasks. However, emerging research shows that these agents exhibit greater vulnerability compared to standalone Large Language Models (LLMs), despite both being built upon the same safety-aligned models. This discrepancy is particularly concerning given the greater flexibility of Web AI Agent compared to standalone LLMs, which may expose them to a wider range of adversarial user inputs. To build a scaffold that addresses these concerns, this study investigates the underlying factors that contribute to the increased vulnerability of Web AI agents. Notably, this disparity stems from the multifaceted differences between Web AI agents and standalone LLMs, as well as the complex signals - nuances that simple evaluation metrics, such as success rate, often fail to capture. To tackle these challenges, we propose a component-level analysis and a more granular, systematic evaluation framework. Through this fine-grained investigation, we identify three critical factors that amplify the vulnerability of Web AI agents; (1) embedding user goals into the system prompt, (2) multi-step action generation, and (3) observational capabilities. Our findings highlights the pressing need to enhance security and robustness in AI agent design and provide actionable insights for targeted defense strategies.