Wanneer goede geluden kwaadaardig worden: Audio-taalmodellen jailbreaken met goedaardige invoer

When Good Sounds Go Adversarial: Jailbreaking Audio-Language Models with Benign Inputs

August 5, 2025

Auteurs: Bodam Kim, Hiskias Dingeto, Taeyoun Kwon, Dasol Choi, DongGeon Lee, Haon Park, JaeHoon Lee, Jongho Shin

cs.AI

Samenvatting

Naarmate grote taalmodellen steeds meer geïntegreerd raken in het dagelijks leven, is audio naar voren gekomen als een belangrijke interface voor mens-AI-interactie. Deze gemakken brengen echter ook nieuwe kwetsbaarheden met zich mee, waardoor audio een potentieel aanvalsoppervlak wordt voor tegenstanders. Ons onderzoek introduceert WhisperInject, een tweestaps raamwerk voor adversariële audio-aanvallen dat state-of-the-art audiotalmodellen kan manipuleren om schadelijke inhoud te genereren. Onze methode maakt gebruik van onmerkbare verstoringen in audio-inputs die voor menselijke luisteraars onschadelijk blijven. De eerste fase gebruikt een nieuwe beloningsgebaseerde optimalisatiemethode, Reinforcement Learning with Projected Gradient Descent (RL-PGD), om het doelmodel te begeleiden om zijn eigen veiligheidsprotocollen te omzeilen en schadelijke native reacties te genereren. Deze native schadelijke reactie dient vervolgens als doel voor Fase 2, Payload Injection, waar we Projected Gradient Descent (PGD) gebruiken om subtiele verstoringen te optimaliseren die zijn ingebed in onschadelijke audiocarriers, zoals weersvragen of begroetingsberichten. Getoetst onder het rigoureuze StrongREJECT, LlamaGuard, evenals het Human Evaluation veiligheidsevaluatieraamwerk, tonen onze experimenten een slagingspercentage van meer dan 86% over Qwen2.5-Omni-3B, Qwen2.5-Omni-7B en Phi-4-Multimodal. Ons werk toont een nieuwe klasse van praktische, audio-native bedreigingen, die verder gaan dan theoretische exploits en een haalbare en verborgen methode onthullen om AI-gedrag te manipuleren.

English

As large language models become increasingly integrated into daily life, audio has emerged as a key interface for human-AI interaction. However, this convenience also introduces new vulnerabilities, making audio a potential attack surface for adversaries. Our research introduces WhisperInject, a two-stage adversarial audio attack framework that can manipulate state-of-the-art audio language models to generate harmful content. Our method uses imperceptible perturbations in audio inputs that remain benign to human listeners. The first stage uses a novel reward-based optimization method, Reinforcement Learning with Projected Gradient Descent (RL-PGD), to guide the target model to circumvent its own safety protocols and generate harmful native responses. This native harmful response then serves as the target for Stage 2, Payload Injection, where we use Projected Gradient Descent (PGD) to optimize subtle perturbations that are embedded into benign audio carriers, such as weather queries or greeting messages. Validated under the rigorous StrongREJECT, LlamaGuard, as well as Human Evaluation safety evaluation framework, our experiments demonstrate a success rate exceeding 86% across Qwen2.5-Omni-3B, Qwen2.5-Omni-7B, and Phi-4-Multimodal. Our work demonstrates a new class of practical, audio-native threats, moving beyond theoretical exploits to reveal a feasible and covert method for manipulating AI behavior.