Cuando los sonidos buenos se vuelven adversarios: Vulneración de modelos de audio-lenguaje con entradas benignas

Resumen

A medida que los modelos de lenguaje de gran escala se integran cada vez más en la vida cotidiana, el audio ha surgido como una interfaz clave para la interacción humano-IA. Sin embargo, esta conveniencia también introduce nuevas vulnerabilidades, convirtiendo al audio en una superficie potencial de ataque para adversarios. Nuestra investigación presenta WhisperInject, un marco de ataque adversarial de audio en dos etapas que puede manipular modelos de lenguaje de audio de última generación para generar contenido dañino. Nuestro método utiliza perturbaciones imperceptibles en las entradas de audio que permanecen benignas para los oyentes humanos. La primera etapa emplea un novedoso método de optimización basado en recompensas, Aprendizaje por Refuerzo con Descenso de Gradiente Proyectado (RL-PGD, por sus siglas en inglés), para guiar al modelo objetivo a eludir sus propios protocolos de seguridad y generar respuestas nativas dañinas. Esta respuesta nativa dañina sirve entonces como objetivo para la segunda etapa, Inyección de Carga Útil, donde utilizamos el Descenso de Gradiente Proyectado (PGD) para optimizar perturbaciones sutiles que se incrustan en portadores de audio benignos, como consultas sobre el clima o mensajes de saludo. Validado bajo el riguroso marco de evaluación de seguridad StrongREJECT, LlamaGuard, así como la Evaluación Humana, nuestros experimentos demuestran una tasa de éxito superior al 86% en los modelos Qwen2.5-Omni-3B, Qwen2.5-Omni-7B y Phi-4-Multimodal. Nuestro trabajo demuestra una nueva clase de amenazas prácticas y nativas de audio, yendo más allá de explotaciones teóricas para revelar un método factible y encubierto para manipular el comportamiento de la IA.

English

As large language models become increasingly integrated into daily life, audio has emerged as a key interface for human-AI interaction. However, this convenience also introduces new vulnerabilities, making audio a potential attack surface for adversaries. Our research introduces WhisperInject, a two-stage adversarial audio attack framework that can manipulate state-of-the-art audio language models to generate harmful content. Our method uses imperceptible perturbations in audio inputs that remain benign to human listeners. The first stage uses a novel reward-based optimization method, Reinforcement Learning with Projected Gradient Descent (RL-PGD), to guide the target model to circumvent its own safety protocols and generate harmful native responses. This native harmful response then serves as the target for Stage 2, Payload Injection, where we use Projected Gradient Descent (PGD) to optimize subtle perturbations that are embedded into benign audio carriers, such as weather queries or greeting messages. Validated under the rigorous StrongREJECT, LlamaGuard, as well as Human Evaluation safety evaluation framework, our experiments demonstrate a success rate exceeding 86% across Qwen2.5-Omni-3B, Qwen2.5-Omni-7B, and Phi-4-Multimodal. Our work demonstrates a new class of practical, audio-native threats, moving beyond theoretical exploits to reveal a feasible and covert method for manipulating AI behavior.

Cuando los sonidos buenos se vuelven adversarios: Vulneración de modelos de audio-lenguaje con entradas benignas

When Good Sounds Go Adversarial: Jailbreaking Audio-Language Models with Benign Inputs

Resumen

Support