Quando i suoni buoni diventano avversari: Violazione dei modelli audio-linguistici con input benigni

When Good Sounds Go Adversarial: Jailbreaking Audio-Language Models with Benign Inputs

August 5, 2025

Autori: Bodam Kim, Hiskias Dingeto, Taeyoun Kwon, Dasol Choi, DongGeon Lee, Haon Park, JaeHoon Lee, Jongho Shin

cs.AI

Abstract

Man mano che i modelli linguistici di grandi dimensioni diventano sempre più integrati nella vita quotidiana, l'audio è emerso come un'interfaccia chiave per l'interazione uomo-IA. Tuttavia, questa comodità introduce anche nuove vulnerabilità, rendendo l'audio una potenziale superficie di attacco per gli avversari. La nostra ricerca introduce WhisperInject, un framework di attacco audio avversario a due fasi in grado di manipolare i modelli linguistici audio all'avanguardia per generare contenuti dannosi. Il nostro metodo utilizza perturbazioni impercettibili negli input audio che rimangono innocue per gli ascoltatori umani. La prima fase impiega un nuovo metodo di ottimizzazione basato su ricompense, il Reinforcement Learning con Projected Gradient Descent (RL-PGD), per guidare il modello target a eludere i propri protocolli di sicurezza e generare risposte native dannose. Questa risposta nativa dannosa serve quindi come obiettivo per la Fase 2, l'Iniezione del Payload, in cui utilizziamo il Projected Gradient Descent (PGD) per ottimizzare sottili perturbazioni incorporate in vettori audio benigni, come query meteorologiche o messaggi di saluto. Validato nell'ambito del rigoroso framework di valutazione della sicurezza StrongREJECT, LlamaGuard e Human Evaluation, i nostri esperimenti dimostrano un tasso di successo superiore all'86% su Qwen2.5-Omni-3B, Qwen2.5-Omni-7B e Phi-4-Multimodal. Il nostro lavoro dimostra una nuova classe di minacce pratiche e native audio, andando oltre gli exploit teorici per rivelare un metodo fattibile e occulto per manipolare il comportamento dell'IA.

English

As large language models become increasingly integrated into daily life, audio has emerged as a key interface for human-AI interaction. However, this convenience also introduces new vulnerabilities, making audio a potential attack surface for adversaries. Our research introduces WhisperInject, a two-stage adversarial audio attack framework that can manipulate state-of-the-art audio language models to generate harmful content. Our method uses imperceptible perturbations in audio inputs that remain benign to human listeners. The first stage uses a novel reward-based optimization method, Reinforcement Learning with Projected Gradient Descent (RL-PGD), to guide the target model to circumvent its own safety protocols and generate harmful native responses. This native harmful response then serves as the target for Stage 2, Payload Injection, where we use Projected Gradient Descent (PGD) to optimize subtle perturbations that are embedded into benign audio carriers, such as weather queries or greeting messages. Validated under the rigorous StrongREJECT, LlamaGuard, as well as Human Evaluation safety evaluation framework, our experiments demonstrate a success rate exceeding 86% across Qwen2.5-Omni-3B, Qwen2.5-Omni-7B, and Phi-4-Multimodal. Our work demonstrates a new class of practical, audio-native threats, moving beyond theoretical exploits to reveal a feasible and covert method for manipulating AI behavior.