良質な音声が敵対的になる時：無害な入力による音声言語モデルのジャイルブレイク

When Good Sounds Go Adversarial: Jailbreaking Audio-Language Models with Benign Inputs

August 5, 2025

著者: Bodam Kim, Hiskias Dingeto, Taeyoun Kwon, Dasol Choi, DongGeon Lee, Haon Park, JaeHoon Lee, Jongho Shin

cs.AI

要旨

大規模言語モデルが日常生活にますます統合される中、音声は人間とAIのインタラクションにおける重要なインターフェースとして浮上しています。しかし、この利便性は新たな脆弱性ももたらし、音声が攻撃者にとっての潜在的な攻撃対象となる可能性があります。本研究では、最先端の音声言語モデルを操作して有害なコンテンツを生成させる、2段階の敵対的音声攻撃フレームワーク「WhisperInject」を提案します。本手法では、人間のリスナーには無害な、音声入力に含まれる知覚不可能な摂動を利用します。第1段階では、新しい報酬ベースの最適化手法である「Reinforcement Learning with Projected Gradient Descent (RL-PGD)」を使用し、ターゲットモデルが自身の安全プロトコルを回避して有害なネイティブ応答を生成するよう導きます。このネイティブな有害応答は、第2段階「Payload Injection」のターゲットとして機能し、天気の問い合わせや挨拶メッセージなどの無害な音声キャリアに埋め込まれた微妙な摂動を最適化するためにProjected Gradient Descent (PGD)を使用します。厳格なStrongREJECT、LlamaGuard、およびHuman Evaluationの安全評価フレームワークで検証された実験では、Qwen2.5-Omni-3B、Qwen2.5-Omni-7B、Phi-4-Multimodalにおいて86%を超える成功率を示しています。本研究は、理論的なエクスプロイトを超えて、AIの動作を操作するための実用的で隠蔽された方法を明らかにし、新たな実用的な音声ネイティブの脅威のクラスを実証しています。

English

As large language models become increasingly integrated into daily life, audio has emerged as a key interface for human-AI interaction. However, this convenience also introduces new vulnerabilities, making audio a potential attack surface for adversaries. Our research introduces WhisperInject, a two-stage adversarial audio attack framework that can manipulate state-of-the-art audio language models to generate harmful content. Our method uses imperceptible perturbations in audio inputs that remain benign to human listeners. The first stage uses a novel reward-based optimization method, Reinforcement Learning with Projected Gradient Descent (RL-PGD), to guide the target model to circumvent its own safety protocols and generate harmful native responses. This native harmful response then serves as the target for Stage 2, Payload Injection, where we use Projected Gradient Descent (PGD) to optimize subtle perturbations that are embedded into benign audio carriers, such as weather queries or greeting messages. Validated under the rigorous StrongREJECT, LlamaGuard, as well as Human Evaluation safety evaluation framework, our experiments demonstrate a success rate exceeding 86% across Qwen2.5-Omni-3B, Qwen2.5-Omni-7B, and Phi-4-Multimodal. Our work demonstrates a new class of practical, audio-native threats, moving beyond theoretical exploits to reveal a feasible and covert method for manipulating AI behavior.