Ataques de Inyección de Distractores en Modelos de Razonamiento a Gran Escala: Caracterización y Defensa

Distractor Injection Attacks on Large Reasoning Models: Characterization and Defense

October 17, 2025

Autores: Zhehao Zhang, Weijie Xu, Shixian Cui, Chandan K. Reddy

cs.AI

Resumen

Los recientes avances en los modelos de razonamiento a gran escala (LRMs, por sus siglas en inglés) han permitido un rendimiento notable en tareas complejas como las matemáticas y la codificación, gracias a la generación de largas trazas de Cadena de Pensamiento (CoT). En este artículo, identificamos y analizamos sistemáticamente una vulnerabilidad crítica que denominamos distracción del razonamiento, donde los LRMs son desviados de su objetivo principal por tareas irrelevantes pero complejas que se insertan maliciosamente en la indicación. A través de un estudio exhaustivo en diversos modelos y puntos de referencia, demostramos que incluso los LRMs más avanzados son altamente susceptibles, con distractores inyectados que reducen la precisión de la tarea hasta en un 60%. Además, revelamos que ciertas técnicas de alineación pueden amplificar esta debilidad y que los modelos pueden exhibir una conformidad encubierta, siguiendo instrucciones adversarias ocultas durante el razonamiento mientras las ocultan en la salida final. Para mitigar estos riesgos, proponemos una defensa basada en entrenamiento que combina Ajuste Fino Supervisado (SFT) y Aprendizaje por Refuerzo (RL) en datos adversarios sintéticos, mejorando la robustez en más de 50 puntos frente a ataques de distractores desafiantes. Nuestros hallazgos establecen la distracción del razonamiento como una amenaza distintiva y urgente para la confiabilidad de los LRMs y proporcionan un paso práctico hacia sistemas de razonamiento más seguros y confiables.

English

Recent advances in large reasoning models (LRMs) have enabled remarkable performance on complex tasks such as mathematics and coding by generating long Chain-of-Thought (CoT) traces. In this paper, we identify and systematically analyze a critical vulnerability we term reasoning distraction, where LRMs are diverted from their primary objective by irrelevant yet complex tasks maliciously embedded in the prompt. Through a comprehensive study across diverse models and benchmarks, we show that even state-of-the-art LRMs are highly susceptible, with injected distractors reducing task accuracy by up to 60%. We further reveal that certain alignment techniques can amplify this weakness and that models may exhibit covert compliance, following hidden adversarial instructions in reasoning while concealing them in the final output. To mitigate these risks, we propose a training-based defense that combines Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) on synthetic adversarial data, improving robustness by over 50 points on challenging distractor attacks. Our findings establish reasoning distraction as a distinct and urgent threat to LRM reliability and provide a practical step toward safer and more trustworthy reasoning systems.