Quando Sons Bons Viram Adversários: Violando Modelos de Áudio-Linguagem com Entradas Benignas

Resumo

À medida que os modelos de linguagem de grande escala se tornam cada vez mais integrados à vida cotidiana, o áudio emergiu como uma interface crucial para a interação humano-IA. No entanto, essa conveniência também introduz novas vulnerabilidades, tornando o áudio uma superfície de ataque potencial para adversários. Nossa pesquisa apresenta o WhisperInject, uma estrutura de ataque adversarial de áudio em duas etapas que pode manipular modelos de linguagem de áudio de última geração para gerar conteúdo prejudicial. Nosso método utiliza perturbações imperceptíveis em entradas de áudio que permanecem benignas para ouvintes humanos. A primeira etapa emprega um novo método de otimização baseado em recompensa, Aprendizado por Reforço com Gradiente Descendente Projetado (RL-PGD), para guiar o modelo alvo a contornar seus próprios protocolos de segurança e gerar respostas nativas prejudiciais. Essa resposta nativa prejudicial então serve como alvo para a Etapa 2, Injeção de Carga Útil, onde utilizamos o Gradiente Descendente Projetado (PGD) para otimizar perturbações sutis que são embutidas em portadores de áudio benignos, como consultas sobre o clima ou mensagens de cumprimento. Validado sob o rigoroso framework de avaliação de segurança StrongREJECT, LlamaGuard, bem como Avaliação Humana, nossos experimentos demonstram uma taxa de sucesso superior a 86% nos modelos Qwen2.5-Omni-3B, Qwen2.5-Omni-7B e Phi-4-Multimodal. Nosso trabalho demonstra uma nova classe de ameaças práticas e nativas de áudio, indo além de explorações teóricas para revelar um método viável e discreto de manipulação do comportamento da IA.

English

As large language models become increasingly integrated into daily life, audio has emerged as a key interface for human-AI interaction. However, this convenience also introduces new vulnerabilities, making audio a potential attack surface for adversaries. Our research introduces WhisperInject, a two-stage adversarial audio attack framework that can manipulate state-of-the-art audio language models to generate harmful content. Our method uses imperceptible perturbations in audio inputs that remain benign to human listeners. The first stage uses a novel reward-based optimization method, Reinforcement Learning with Projected Gradient Descent (RL-PGD), to guide the target model to circumvent its own safety protocols and generate harmful native responses. This native harmful response then serves as the target for Stage 2, Payload Injection, where we use Projected Gradient Descent (PGD) to optimize subtle perturbations that are embedded into benign audio carriers, such as weather queries or greeting messages. Validated under the rigorous StrongREJECT, LlamaGuard, as well as Human Evaluation safety evaluation framework, our experiments demonstrate a success rate exceeding 86% across Qwen2.5-Omni-3B, Qwen2.5-Omni-7B, and Phi-4-Multimodal. Our work demonstrates a new class of practical, audio-native threats, moving beyond theoretical exploits to reveal a feasible and covert method for manipulating AI behavior.

Quando Sons Bons Viram Adversários: Violando Modelos de Áudio-Linguagem com Entradas Benignas

When Good Sounds Go Adversarial: Jailbreaking Audio-Language Models with Benign Inputs

Resumo

Support