¿Por qué los agentes de IA web son más vulnerables que los LLM independientes? Un análisis de seguridad

Why Are Web AI Agents More Vulnerable Than Standalone LLMs? A Security Analysis

February 27, 2025

Autores: Jeffrey Yang Fan Chiang, Seungjae Lee, Jia-Bin Huang, Furong Huang, Yizheng Chen

cs.AI

Resumen

Los avances recientes en los agentes de IA web han demostrado capacidades notables para abordar tareas complejas de navegación web. Sin embargo, investigaciones emergentes muestran que estos agentes exhiben una mayor vulnerabilidad en comparación con los modelos de lenguaje grandes (LLMs) independientes, a pesar de que ambos se basan en modelos alineados con la seguridad. Esta discrepancia es particularmente preocupante dada la mayor flexibilidad de los agentes de IA web en comparación con los LLMs independientes, lo que puede exponerlos a una gama más amplia de entradas adversarias de usuarios. Para construir un marco que aborde estas preocupaciones, este estudio investiga los factores subyacentes que contribuyen a la mayor vulnerabilidad de los agentes de IA web. Notablemente, esta disparidad surge de las diferencias multifacéticas entre los agentes de IA web y los LLMs independientes, así como de las señales complejas, matices que las métricas de evaluación simples, como la tasa de éxito, a menudo no logran capturar. Para abordar estos desafíos, proponemos un análisis a nivel de componentes y un marco de evaluación más granular y sistemático. A través de esta investigación detallada, identificamos tres factores críticos que amplifican la vulnerabilidad de los agentes de IA web: (1) la incorporación de los objetivos del usuario en el mensaje del sistema, (2) la generación de acciones en múltiples pasos y (3) las capacidades de observación. Nuestros hallazgos resaltan la necesidad urgente de mejorar la seguridad y la robustez en el diseño de agentes de IA y proporcionan insights prácticos para estrategias de defensa específicas.

English

Recent advancements in Web AI agents have demonstrated remarkable capabilities in addressing complex web navigation tasks. However, emerging research shows that these agents exhibit greater vulnerability compared to standalone Large Language Models (LLMs), despite both being built upon the same safety-aligned models. This discrepancy is particularly concerning given the greater flexibility of Web AI Agent compared to standalone LLMs, which may expose them to a wider range of adversarial user inputs. To build a scaffold that addresses these concerns, this study investigates the underlying factors that contribute to the increased vulnerability of Web AI agents. Notably, this disparity stems from the multifaceted differences between Web AI agents and standalone LLMs, as well as the complex signals - nuances that simple evaluation metrics, such as success rate, often fail to capture. To tackle these challenges, we propose a component-level analysis and a more granular, systematic evaluation framework. Through this fine-grained investigation, we identify three critical factors that amplify the vulnerability of Web AI agents; (1) embedding user goals into the system prompt, (2) multi-step action generation, and (3) observational capabilities. Our findings highlights the pressing need to enhance security and robustness in AI agent design and provide actionable insights for targeted defense strategies.