좋은 소리가 적대적으로 변할 때: 무해한 입력으로 오디오-언어 모델 탈옥시키기

초록

대규모 언어 모델이 일상생활에 점점 더 통합됨에 따라, 오디오는 인간과 AI 간 상호작용의 주요 인터페이스로 부상하고 있다. 그러나 이러한 편의성은 새로운 취약점을 야기하며, 오디오를 공격자들의 잠재적 공격 표면으로 만들고 있다. 본 연구는 최신 오디오 언어 모델을 조작하여 유해한 콘텐츠를 생성할 수 있는 2단계 적대적 오디오 공격 프레임워크인 WhisperInject를 소개한다. 우리의 방법은 인간 청취자에게는 무해한 수준의 미세한 오디오 입력 변조를 사용한다. 첫 번째 단계에서는 새로운 보상 기반 최적화 방법인 강화 학습과 투영 경사 하강법(Reinforcement Learning with Projected Gradient Descent, RL-PGD)을 사용하여 대상 모델이 자체 안전 프로토콜을 우회하고 유해한 기본 응답을 생성하도록 유도한다. 이 기본 유해 응답은 두 번째 단계인 페이로드 주입(Payload Injection)의 대상이 되며, 여기서는 투영 경사 하강법(Projected Gradient Descent, PGD)을 사용하여 날씨 질문이나 인사 메시지와 같은 무해한 오디오 캐리어에 삽입될 미세한 변조를 최적화한다. 엄격한 StrongREJECT, LlamaGuard 및 인간 평가(Human Evaluation) 안전 평가 프레임워크에서 검증된 실험 결과, Qwen2.5-Omni-3B, Qwen2.5-Omni-7B 및 Phi-4-Multimodal 모델에서 86% 이상의 성공률을 보였다. 본 연구는 이론적 익스플로잇을 넘어 실질적이고 은밀한 AI 행동 조작 방법을 제시함으로써, 새로운 종류의 실용적 오디오 기반 위협을 입증한다.

English

As large language models become increasingly integrated into daily life, audio has emerged as a key interface for human-AI interaction. However, this convenience also introduces new vulnerabilities, making audio a potential attack surface for adversaries. Our research introduces WhisperInject, a two-stage adversarial audio attack framework that can manipulate state-of-the-art audio language models to generate harmful content. Our method uses imperceptible perturbations in audio inputs that remain benign to human listeners. The first stage uses a novel reward-based optimization method, Reinforcement Learning with Projected Gradient Descent (RL-PGD), to guide the target model to circumvent its own safety protocols and generate harmful native responses. This native harmful response then serves as the target for Stage 2, Payload Injection, where we use Projected Gradient Descent (PGD) to optimize subtle perturbations that are embedded into benign audio carriers, such as weather queries or greeting messages. Validated under the rigorous StrongREJECT, LlamaGuard, as well as Human Evaluation safety evaluation framework, our experiments demonstrate a success rate exceeding 86% across Qwen2.5-Omni-3B, Qwen2.5-Omni-7B, and Phi-4-Multimodal. Our work demonstrates a new class of practical, audio-native threats, moving beyond theoretical exploits to reveal a feasible and covert method for manipulating AI behavior.

좋은 소리가 적대적으로 변할 때: 무해한 입력으로 오디오-언어 모델 탈옥시키기

When Good Sounds Go Adversarial: Jailbreaking Audio-Language Models with Benign Inputs

초록

Support