AdInject: Echtzeit-Black-Box-Angriffe auf Web-Agenten über Werbeauslieferung

AdInject: Real-World Black-Box Attacks on Web Agents via Advertising Delivery

May 27, 2025

Autoren: Haowei Wang, Junjie Wang, Xiaojun Jia, Rupeng Zhang, Mingyang Li, Zhe Liu, Yang Liu, Qing Wang

cs.AI

Zusammenfassung

Vision-Language Model (VLM)-basierte Web-Agents stellen einen bedeutenden Schritt zur Automatisierung komplexer Aufgaben dar, indem sie menschenähnliche Interaktionen mit Websites simulieren. Ihre Bereitstellung in unkontrollierten Webumgebungen führt jedoch zu erheblichen Sicherheitslücken. Bisherige Forschung zu adversariellen Umgebungsinjektionsangriffen stützt sich oft auf unrealistische Annahmen, wie direkte HTML-Manipulation, Kenntnis der Benutzerabsicht oder Zugriff auf die Modellparameter des Agents, was ihre praktische Anwendbarkeit einschränkt. In diesem Artikel stellen wir AdInject vor, eine neuartige und praxisnahe Black-Box-Angriffsmethode, die die Internetwerbeauslieferung nutzt, um bösartige Inhalte in die Umgebung des Web-Agents einzuschleusen. AdInject operiert unter einem deutlich realistischeren Bedrohungsmodell als bisherige Arbeiten, indem es einen Black-Box-Agent, statische Einschränkungen für bösartige Inhalte und keine spezifische Kenntnis der Benutzerabsicht annimmt. AdInject umfasst Strategien zur Gestaltung bösartiger Werbeinhalte, die darauf abzielen, Agents zu täuschen und sie zum Klicken zu verleiten, sowie eine VLM-basierte Optimierungstechnik für Werbeinhalte, die potenzielle Benutzerabsichten aus dem Kontext der Zielwebsite ableitet und diese Absichten in die Werbeinhalte integriert, um sie relevanter oder kritischer für die Aufgabe des Agents erscheinen zu lassen und so die Angriffswirksamkeit zu steigern. Experimentelle Auswertungen demonstrieren die Effektivität von AdInject, wobei die Angriffserfolgsraten in den meisten Szenarien 60 % überschreiten und in bestimmten Fällen nahezu 100 % erreichen. Dies zeigt deutlich, dass die weit verbreitete Werbeauslieferung einen wirksamen und praxisnahen Angriffsvektor für Umgebungsinjektionsangriffe auf Web-Agents darstellt. Diese Arbeit beleuchtet eine kritische Schwachstelle in der Sicherheit von Web-Agents, die sich aus realen Manipulationskanälen der Umgebung ergibt, und unterstreicht die dringende Notwendigkeit, robuste Abwehrmechanismen gegen solche Bedrohungen zu entwickeln. Unser Code ist verfügbar unter https://github.com/NicerWang/AdInject.

English

Vision-Language Model (VLM) based Web Agents represent a significant step towards automating complex tasks by simulating human-like interaction with websites. However, their deployment in uncontrolled web environments introduces significant security vulnerabilities. Existing research on adversarial environmental injection attacks often relies on unrealistic assumptions, such as direct HTML manipulation, knowledge of user intent, or access to agent model parameters, limiting their practical applicability. In this paper, we propose AdInject, a novel and real-world black-box attack method that leverages the internet advertising delivery to inject malicious content into the Web Agent's environment. AdInject operates under a significantly more realistic threat model than prior work, assuming a black-box agent, static malicious content constraints, and no specific knowledge of user intent. AdInject includes strategies for designing malicious ad content aimed at misleading agents into clicking, and a VLM-based ad content optimization technique that infers potential user intents from the target website's context and integrates these intents into the ad content to make it appear more relevant or critical to the agent's task, thus enhancing attack effectiveness. Experimental evaluations demonstrate the effectiveness of AdInject, attack success rates exceeding 60% in most scenarios and approaching 100% in certain cases. This strongly demonstrates that prevalent advertising delivery constitutes a potent and real-world vector for environment injection attacks against Web Agents. This work highlights a critical vulnerability in Web Agent security arising from real-world environment manipulation channels, underscoring the urgent need for developing robust defense mechanisms against such threats. Our code is available at https://github.com/NicerWang/AdInject.