Pourquoi les agents IA web sont-ils plus vulnérables que les LLM autonomes ? Une analyse de sécurité

Why Are Web AI Agents More Vulnerable Than Standalone LLMs? A Security Analysis

February 27, 2025

Auteurs: Jeffrey Yang Fan Chiang, Seungjae Lee, Jia-Bin Huang, Furong Huang, Yizheng Chen

cs.AI

Résumé

Les récentes avancées dans les agents d'IA web ont démontré des capacités remarquables pour résoudre des tâches complexes de navigation sur le web. Cependant, des recherches émergentes montrent que ces agents présentent une vulnérabilité accrue par rapport aux modèles de langage de grande taille (LLMs) autonomes, bien que les deux soient construits sur des modèles alignés en termes de sécurité. Cette divergence est particulièrement préoccupante étant donné la plus grande flexibilité des agents d'IA web par rapport aux LLMs autonomes, ce qui peut les exposer à une gamme plus large d'entrées utilisateur adverses. Pour établir un cadre qui aborde ces préoccupations, cette étude examine les facteurs sous-jacents qui contribuent à la vulnérabilité accrue des agents d'IA web. Notamment, cette disparité découle des différences multifacettes entre les agents d'IA web et les LLMs autonomes, ainsi que des signaux complexes - des nuances que des métriques d'évaluation simples, comme le taux de réussite, échouent souvent à capturer. Pour relever ces défis, nous proposons une analyse au niveau des composants et un cadre d'évaluation plus granulaire et systématique. Grâce à cette investigation fine, nous identifions trois facteurs critiques qui amplifient la vulnérabilité des agents d'IA web : (1) l'intégration des objectifs de l'utilisateur dans l'invite système, (2) la génération d'actions en plusieurs étapes, et (3) les capacités d'observation. Nos résultats mettent en lumière le besoin pressant d'améliorer la sécurité et la robustesse dans la conception des agents d'IA et fournissent des insights actionnables pour des stratégies de défense ciblées.

English

Recent advancements in Web AI agents have demonstrated remarkable capabilities in addressing complex web navigation tasks. However, emerging research shows that these agents exhibit greater vulnerability compared to standalone Large Language Models (LLMs), despite both being built upon the same safety-aligned models. This discrepancy is particularly concerning given the greater flexibility of Web AI Agent compared to standalone LLMs, which may expose them to a wider range of adversarial user inputs. To build a scaffold that addresses these concerns, this study investigates the underlying factors that contribute to the increased vulnerability of Web AI agents. Notably, this disparity stems from the multifaceted differences between Web AI agents and standalone LLMs, as well as the complex signals - nuances that simple evaluation metrics, such as success rate, often fail to capture. To tackle these challenges, we propose a component-level analysis and a more granular, systematic evaluation framework. Through this fine-grained investigation, we identify three critical factors that amplify the vulnerability of Web AI agents; (1) embedding user goals into the system prompt, (2) multi-step action generation, and (3) observational capabilities. Our findings highlights the pressing need to enhance security and robustness in AI agent design and provide actionable insights for targeted defense strategies.