AdInject: Реальные атаки методом черного ящика на веб-агентов через доставку рекламы

AdInject: Real-World Black-Box Attacks on Web Agents via Advertising Delivery

May 27, 2025

Авторы: Haowei Wang, Junjie Wang, Xiaojun Jia, Rupeng Zhang, Mingyang Li, Zhe Liu, Yang Liu, Qing Wang

cs.AI

Аннотация

Веб-агенты на основе Vision-Language Model (VLM) представляют собой значительный шаг в направлении автоматизации сложных задач за счет имитации человеческого взаимодействия с веб-сайтами. Однако их развертывание в неконтролируемых веб-средах влечет за собой серьезные уязвимости в области безопасности. Существующие исследования атак с инъекцией враждебного окружения часто основываются на нереалистичных предположениях, таких как прямое манипулирование HTML, знание намерений пользователя или доступ к параметрам модели агента, что ограничивает их практическую применимость. В данной статье мы предлагаем AdInject — новый метод атаки в реальных условиях, работающий в черном ящике, который использует механизмы доставки интернет-рекламы для внедрения вредоносного контента в окружение веб-агента. AdInject функционирует в рамках значительно более реалистичной модели угроз по сравнению с предыдущими работами, предполагая агента в черном ящике, статические ограничения на вредоносный контент и отсутствие конкретных знаний о намерениях пользователя. AdInject включает стратегии разработки вредоносного рекламного контента, направленного на введение агента в заблуждение с целью совершения кликов, а также технику оптимизации рекламного контента на основе VLM, которая выводит потенциальные намерения пользователя из контекста целевого веб-сайта и интегрирует эти намерения в рекламный контент, чтобы он казался более релевантным или критически важным для задачи агента, тем самым повышая эффективность атаки. Экспериментальные оценки демонстрируют эффективность AdInject: показатели успешности атаки превышают 60% в большинстве сценариев и приближаются к 100% в отдельных случаях. Это убедительно доказывает, что распространенные механизмы доставки рекламы представляют собой мощный и реалистичный вектор для атак с инъекцией окружения против веб-агентов. Данная работа выявляет критическую уязвимость в безопасности веб-агентов, возникающую из-за каналов манипуляции окружением в реальных условиях, и подчеркивает необходимость разработки надежных механизмов защиты от подобных угроз. Наш код доступен по адресу https://github.com/NicerWang/AdInject.

English

Vision-Language Model (VLM) based Web Agents represent a significant step towards automating complex tasks by simulating human-like interaction with websites. However, their deployment in uncontrolled web environments introduces significant security vulnerabilities. Existing research on adversarial environmental injection attacks often relies on unrealistic assumptions, such as direct HTML manipulation, knowledge of user intent, or access to agent model parameters, limiting their practical applicability. In this paper, we propose AdInject, a novel and real-world black-box attack method that leverages the internet advertising delivery to inject malicious content into the Web Agent's environment. AdInject operates under a significantly more realistic threat model than prior work, assuming a black-box agent, static malicious content constraints, and no specific knowledge of user intent. AdInject includes strategies for designing malicious ad content aimed at misleading agents into clicking, and a VLM-based ad content optimization technique that infers potential user intents from the target website's context and integrates these intents into the ad content to make it appear more relevant or critical to the agent's task, thus enhancing attack effectiveness. Experimental evaluations demonstrate the effectiveness of AdInject, attack success rates exceeding 60% in most scenarios and approaching 100% in certain cases. This strongly demonstrates that prevalent advertising delivery constitutes a potent and real-world vector for environment injection attacks against Web Agents. This work highlights a critical vulnerability in Web Agent security arising from real-world environment manipulation channels, underscoring the urgent need for developing robust defense mechanisms against such threats. Our code is available at https://github.com/NicerWang/AdInject.