Wenn gute Klänge adversarisch werden: Jailbreaking von Audio-Sprachmodellen mit harmlosen Eingaben

When Good Sounds Go Adversarial: Jailbreaking Audio-Language Models with Benign Inputs

August 5, 2025

papers.authors: Bodam Kim, Hiskias Dingeto, Taeyoun Kwon, Dasol Choi, DongGeon Lee, Haon Park, JaeHoon Lee, Jongho Shin

cs.AI

papers.abstract

Da große Sprachmodelle zunehmend in den Alltag integriert werden, hat sich Audio als eine zentrale Schnittstelle für die Mensch-KI-Interaktion etabliert. Diese Bequemlichkeit bringt jedoch auch neue Schwachstellen mit sich, wodurch Audio zu einer potenziellen Angriffsfläche für Gegner wird. Unsere Forschung stellt WhisperInject vor, ein zweistufiges Framework für adversarische Audioangriffe, das in der Lage ist, modernste Audio-Sprachmodelle zu manipulieren, um schädliche Inhalte zu generieren. Unsere Methode nutzt unmerkliche Störungen in Audioeingaben, die für menschliche Zuhörer harmlos bleiben. Die erste Stufe verwendet eine neuartige belohnungsbasierte Optimierungsmethode, Reinforcement Learning with Projected Gradient Descent (RL-PGD), um das Zielmodell dazu zu bringen, seine eigenen Sicherheitsprotokolle zu umgehen und schädliche native Antworten zu generieren. Diese native schädliche Antwort dient dann als Ziel für die zweite Stufe, Payload Injection, bei der wir Projected Gradient Descent (PGD) verwenden, um subtile Störungen zu optimieren, die in harmlose Audio-Träger wie Wetteranfragen oder Begrüßungsnachrichten eingebettet werden. Validiert unter dem strengen StrongREJECT-, LlamaGuard- sowie Human Evaluation-Sicherheitsbewertungsrahmen zeigen unsere Experimente eine Erfolgsrate von über 86 % bei Qwen2.5-Omni-3B, Qwen2.5-Omni-7B und Phi-4-Multimodal. Unsere Arbeit demonstriert eine neue Klasse praktischer, audio-nativer Bedrohungen, die über theoretische Exploits hinausgeht und eine praktikable und verdeckte Methode zur Manipulation von KI-Verhalten aufzeigt.

English

As large language models become increasingly integrated into daily life, audio has emerged as a key interface for human-AI interaction. However, this convenience also introduces new vulnerabilities, making audio a potential attack surface for adversaries. Our research introduces WhisperInject, a two-stage adversarial audio attack framework that can manipulate state-of-the-art audio language models to generate harmful content. Our method uses imperceptible perturbations in audio inputs that remain benign to human listeners. The first stage uses a novel reward-based optimization method, Reinforcement Learning with Projected Gradient Descent (RL-PGD), to guide the target model to circumvent its own safety protocols and generate harmful native responses. This native harmful response then serves as the target for Stage 2, Payload Injection, where we use Projected Gradient Descent (PGD) to optimize subtle perturbations that are embedded into benign audio carriers, such as weather queries or greeting messages. Validated under the rigorous StrongREJECT, LlamaGuard, as well as Human Evaluation safety evaluation framework, our experiments demonstrate a success rate exceeding 86% across Qwen2.5-Omni-3B, Qwen2.5-Omni-7B, and Phi-4-Multimodal. Our work demonstrates a new class of practical, audio-native threats, moving beyond theoretical exploits to reveal a feasible and covert method for manipulating AI behavior.