AdInject : Attaques en boîte noire dans le monde réel contre les agents web via la diffusion publicitaire

AdInject: Real-World Black-Box Attacks on Web Agents via Advertising Delivery

May 27, 2025

Auteurs: Haowei Wang, Junjie Wang, Xiaojun Jia, Rupeng Zhang, Mingyang Li, Zhe Liu, Yang Liu, Qing Wang

cs.AI

Résumé

Les agents web basés sur des modèles vision-langage (VLM) représentent une avancée significative vers l'automatisation de tâches complexes en simulant des interactions de type humain avec des sites web. Cependant, leur déploiement dans des environnements web non contrôlés introduit des vulnérabilités de sécurité importantes. Les recherches existantes sur les attaques par injection environnementale adverses reposent souvent sur des hypothèses irréalistes, telles que la manipulation directe du HTML, la connaissance de l'intention de l'utilisateur ou l'accès aux paramètres du modèle de l'agent, limitant ainsi leur applicabilité pratique. Dans cet article, nous proposons AdInject, une nouvelle méthode d'attaque en boîte noire réaliste qui exploite la diffusion de publicités en ligne pour injecter du contenu malveillant dans l'environnement de l'agent web. AdInject opère sous un modèle de menace bien plus réaliste que les travaux précédents, en supposant un agent en boîte noire, des contraintes de contenu malveillant statiques et aucune connaissance spécifique de l'intention de l'utilisateur. AdInject inclut des stratégies pour concevoir du contenu publicitaire malveillant visant à induire les agents en erreur pour qu'ils cliquent, ainsi qu'une technique d'optimisation de contenu publicitaire basée sur un VLM qui infère les intentions potentielles de l'utilisateur à partir du contexte du site web cible et intègre ces intentions dans le contenu publicitaire pour le rendre plus pertinent ou critique pour la tâche de l'agent, augmentant ainsi l'efficacité de l'attaque. Les évaluations expérimentales démontrent l'efficacité d'AdInject, avec des taux de réussite d'attaque dépassant 60 % dans la plupart des scénarios et approchant 100 % dans certains cas. Cela démontre fortement que la diffusion publicitaire courante constitue un vecteur puissant et réaliste pour les attaques par injection environnementale contre les agents web. Ce travail met en lumière une vulnérabilité critique dans la sécurité des agents web résultant de canaux de manipulation environnementale réalistes, soulignant le besoin urgent de développer des mécanismes de défense robustes contre de telles menaces. Notre code est disponible à l'adresse suivante : https://github.com/NicerWang/AdInject.

English

Vision-Language Model (VLM) based Web Agents represent a significant step towards automating complex tasks by simulating human-like interaction with websites. However, their deployment in uncontrolled web environments introduces significant security vulnerabilities. Existing research on adversarial environmental injection attacks often relies on unrealistic assumptions, such as direct HTML manipulation, knowledge of user intent, or access to agent model parameters, limiting their practical applicability. In this paper, we propose AdInject, a novel and real-world black-box attack method that leverages the internet advertising delivery to inject malicious content into the Web Agent's environment. AdInject operates under a significantly more realistic threat model than prior work, assuming a black-box agent, static malicious content constraints, and no specific knowledge of user intent. AdInject includes strategies for designing malicious ad content aimed at misleading agents into clicking, and a VLM-based ad content optimization technique that infers potential user intents from the target website's context and integrates these intents into the ad content to make it appear more relevant or critical to the agent's task, thus enhancing attack effectiveness. Experimental evaluations demonstrate the effectiveness of AdInject, attack success rates exceeding 60% in most scenarios and approaching 100% in certain cases. This strongly demonstrates that prevalent advertising delivery constitutes a potent and real-world vector for environment injection attacks against Web Agents. This work highlights a critical vulnerability in Web Agent security arising from real-world environment manipulation channels, underscoring the urgent need for developing robust defense mechanisms against such threats. Our code is available at https://github.com/NicerWang/AdInject.