AdInject: Attacchi Black-Box nel Mondo Reale agli Agenti Web tramite la Consegna di Pubblicità

AdInject: Real-World Black-Box Attacks on Web Agents via Advertising Delivery

May 27, 2025

Autori: Haowei Wang, Junjie Wang, Xiaojun Jia, Rupeng Zhang, Mingyang Li, Zhe Liu, Yang Liu, Qing Wang

cs.AI

Abstract

I modelli Vision-Language (VLM) basati su Web Agent rappresentano un passo significativo verso l'automazione di compiti complessi simulando interazioni simili a quelle umane con i siti web. Tuttavia, il loro dispiegamento in ambienti web non controllati introduce significative vulnerabilità di sicurezza. La ricerca esistente sugli attacchi di iniezione ambientale avversaria spesso si basa su presupposti irrealistici, come la manipolazione diretta dell'HTML, la conoscenza dell'intento dell'utente o l'accesso ai parametri del modello dell'agente, limitandone l'applicabilità pratica. In questo articolo, proponiamo AdInject, un nuovo metodo di attacco black-box realistico che sfrutta la consegna della pubblicità online per iniettare contenuti malevoli nell'ambiente del Web Agent. AdInject opera con un modello di minaccia significativamente più realistico rispetto ai lavori precedenti, assumendo un agente black-box, vincoli di contenuto malevolo statico e nessuna conoscenza specifica dell'intento dell'utente. AdInject include strategie per progettare contenuti pubblicitari malevoli mirati a indurre gli agenti a cliccare, e una tecnica di ottimizzazione del contenuto pubblicitario basata su VLM che inferisce potenziali intenti dell'utente dal contesto del sito web target e integra questi intenti nel contenuto pubblicitario per renderlo più rilevante o critico per il compito dell'agente, aumentando così l'efficacia dell'attacco. Le valutazioni sperimentali dimostrano l'efficacia di AdInject, con tassi di successo dell'attacco che superano il 60% nella maggior parte degli scenari e si avvicinano al 100% in alcuni casi. Ciò dimostra fortemente che la consegna pubblicitaria prevalente costituisce un vettore potente e realistico per attacchi di iniezione ambientale contro i Web Agent. Questo lavoro evidenzia una vulnerabilità critica nella sicurezza dei Web Agent derivante da canali di manipolazione ambientale reali, sottolineando l'urgente necessità di sviluppare meccanismi di difesa robusti contro tali minacce. Il nostro codice è disponibile all'indirizzo https://github.com/NicerWang/AdInject.

English

Vision-Language Model (VLM) based Web Agents represent a significant step towards automating complex tasks by simulating human-like interaction with websites. However, their deployment in uncontrolled web environments introduces significant security vulnerabilities. Existing research on adversarial environmental injection attacks often relies on unrealistic assumptions, such as direct HTML manipulation, knowledge of user intent, or access to agent model parameters, limiting their practical applicability. In this paper, we propose AdInject, a novel and real-world black-box attack method that leverages the internet advertising delivery to inject malicious content into the Web Agent's environment. AdInject operates under a significantly more realistic threat model than prior work, assuming a black-box agent, static malicious content constraints, and no specific knowledge of user intent. AdInject includes strategies for designing malicious ad content aimed at misleading agents into clicking, and a VLM-based ad content optimization technique that infers potential user intents from the target website's context and integrates these intents into the ad content to make it appear more relevant or critical to the agent's task, thus enhancing attack effectiveness. Experimental evaluations demonstrate the effectiveness of AdInject, attack success rates exceeding 60% in most scenarios and approaching 100% in certain cases. This strongly demonstrates that prevalent advertising delivery constitutes a potent and real-world vector for environment injection attacks against Web Agents. This work highlights a critical vulnerability in Web Agent security arising from real-world environment manipulation channels, underscoring the urgent need for developing robust defense mechanisms against such threats. Our code is available at https://github.com/NicerWang/AdInject.