Когда хорошие звуки становятся вредоносными: взлом аудио-языковых моделей с помощью безобидных входных данных

When Good Sounds Go Adversarial: Jailbreaking Audio-Language Models with Benign Inputs

August 5, 2025

Авторы: Bodam Kim, Hiskias Dingeto, Taeyoun Kwon, Dasol Choi, DongGeon Lee, Haon Park, JaeHoon Lee, Jongho Shin

cs.AI

Аннотация

По мере того как крупные языковые модели всё глубже интегрируются в повседневную жизнь, аудио становится ключевым интерфейсом для взаимодействия человека с ИИ. Однако это удобство также создаёт новые уязвимости, превращая аудио в потенциальную поверхность для атак злоумышленников. Наше исследование представляет WhisperInject — двухэтапную структуру атаки на аудио, которая способна манипулировать современными аудио-языковыми моделями для генерации вредоносного контента. Наш метод использует незаметные искажения в аудиовходах, которые остаются безвредными для человеческого слуха. На первом этапе применяется новый метод оптимизации на основе вознаграждения, Reinforcement Learning with Projected Gradient Descent (RL-PGD), чтобы направить целевую модель на обход собственных протоколов безопасности и генерацию вредоносных ответов. Эти вредоносные ответы затем служат целью для второго этапа, Payload Injection, где мы используем Projected Gradient Descent (PGD) для оптимизации тонких искажений, встраиваемых в безвредные аудионосители, такие как запросы о погоде или приветственные сообщения. Проверенные в рамках строгой системы оценки безопасности StrongREJECT, LlamaGuard, а также с участием людей, наши эксперименты демонстрируют успешность более 86% для моделей Qwen2.5-Omni-3B, Qwen2.5-Omni-7B и Phi-4-Multimodal. Наша работа раскрывает новый класс практических угроз, связанных с аудио, выходя за рамки теоретических эксплойтов и демонстрируя реализуемый и скрытый метод манипуляции поведением ИИ.

English

As large language models become increasingly integrated into daily life, audio has emerged as a key interface for human-AI interaction. However, this convenience also introduces new vulnerabilities, making audio a potential attack surface for adversaries. Our research introduces WhisperInject, a two-stage adversarial audio attack framework that can manipulate state-of-the-art audio language models to generate harmful content. Our method uses imperceptible perturbations in audio inputs that remain benign to human listeners. The first stage uses a novel reward-based optimization method, Reinforcement Learning with Projected Gradient Descent (RL-PGD), to guide the target model to circumvent its own safety protocols and generate harmful native responses. This native harmful response then serves as the target for Stage 2, Payload Injection, where we use Projected Gradient Descent (PGD) to optimize subtle perturbations that are embedded into benign audio carriers, such as weather queries or greeting messages. Validated under the rigorous StrongREJECT, LlamaGuard, as well as Human Evaluation safety evaluation framework, our experiments demonstrate a success rate exceeding 86% across Qwen2.5-Omni-3B, Qwen2.5-Omni-7B, and Phi-4-Multimodal. Our work demonstrates a new class of practical, audio-native threats, moving beyond theoretical exploits to reveal a feasible and covert method for manipulating AI behavior.