AdInject: Ataques de caja negra en el mundo real a agentes web mediante la entrega de publicidad

AdInject: Real-World Black-Box Attacks on Web Agents via Advertising Delivery

May 27, 2025

Autores: Haowei Wang, Junjie Wang, Xiaojun Jia, Rupeng Zhang, Mingyang Li, Zhe Liu, Yang Liu, Qing Wang

cs.AI

Resumen

Los Agentes Web basados en Modelos de Visión-Lenguaje (VLM) representan un avance significativo hacia la automatización de tareas complejas al simular interacciones similares a las humanas con sitios web. Sin embargo, su implementación en entornos web no controlados introduce vulnerabilidades de seguridad considerables. Las investigaciones existentes sobre ataques de inyección ambiental adversaria a menudo se basan en suposiciones poco realistas, como la manipulación directa de HTML, el conocimiento de la intención del usuario o el acceso a los parámetros del modelo del agente, lo que limita su aplicabilidad práctica. En este artículo, proponemos AdInject, un método novedoso y realista de ataque de caja negra que aprovecha la entrega de publicidad en internet para inyectar contenido malicioso en el entorno del Agente Web. AdInject opera bajo un modelo de amenaza significativamente más realista que trabajos previos, asumiendo un agente de caja negra, restricciones de contenido malicioso estático y sin conocimiento específico de la intención del usuario. AdInject incluye estrategias para diseñar contenido publicitario malicioso destinado a engañar a los agentes para que hagan clic, y una técnica de optimización de contenido publicitario basada en VLM que infiere posibles intenciones del usuario a partir del contexto del sitio web objetivo e integra estas intenciones en el contenido publicitario para que parezca más relevante o crítico para la tarea del agente, mejorando así la efectividad del ataque. Las evaluaciones experimentales demuestran la efectividad de AdInject, con tasas de éxito del ataque superiores al 60% en la mayoría de los escenarios y acercándose al 100% en ciertos casos. Esto demuestra firmemente que la entrega de publicidad prevalente constituye un vector potente y realista para ataques de inyección ambiental contra Agentes Web. Este trabajo destaca una vulnerabilidad crítica en la seguridad de los Agentes Web derivada de canales de manipulación ambiental del mundo real, subrayando la necesidad urgente de desarrollar mecanismos de defensa robustos contra tales amenazas. Nuestro código está disponible en https://github.com/NicerWang/AdInject.

English

Vision-Language Model (VLM) based Web Agents represent a significant step towards automating complex tasks by simulating human-like interaction with websites. However, their deployment in uncontrolled web environments introduces significant security vulnerabilities. Existing research on adversarial environmental injection attacks often relies on unrealistic assumptions, such as direct HTML manipulation, knowledge of user intent, or access to agent model parameters, limiting their practical applicability. In this paper, we propose AdInject, a novel and real-world black-box attack method that leverages the internet advertising delivery to inject malicious content into the Web Agent's environment. AdInject operates under a significantly more realistic threat model than prior work, assuming a black-box agent, static malicious content constraints, and no specific knowledge of user intent. AdInject includes strategies for designing malicious ad content aimed at misleading agents into clicking, and a VLM-based ad content optimization technique that infers potential user intents from the target website's context and integrates these intents into the ad content to make it appear more relevant or critical to the agent's task, thus enhancing attack effectiveness. Experimental evaluations demonstrate the effectiveness of AdInject, attack success rates exceeding 60% in most scenarios and approaching 100% in certain cases. This strongly demonstrates that prevalent advertising delivery constitutes a potent and real-world vector for environment injection attacks against Web Agents. This work highlights a critical vulnerability in Web Agent security arising from real-world environment manipulation channels, underscoring the urgent need for developing robust defense mechanisms against such threats. Our code is available at https://github.com/NicerWang/AdInject.