Ataques de Injeção de Distratores em Modelos de Raciocínio de Grande Escala: Caracterização e Defesa

Distractor Injection Attacks on Large Reasoning Models: Characterization and Defense

October 17, 2025

Autores: Zhehao Zhang, Weijie Xu, Shixian Cui, Chandan K. Reddy

cs.AI

Resumo

Avanços recentes em modelos de raciocínio de grande escala (LRMs) têm possibilitado desempenhos notáveis em tarefas complexas, como matemática e codificação, por meio da geração de longos rastros de Cadeia de Pensamento (CoT). Neste artigo, identificamos e analisamos sistematicamente uma vulnerabilidade crítica que denominamos distração de raciocínio, na qual os LRMs são desviados de seu objetivo principal por tarefas irrelevantes, mas complexas, inseridas maliciosamente no prompt. Por meio de um estudo abrangente em diversos modelos e benchmarks, demonstramos que até mesmo os LRMs mais avançados são altamente suscetíveis, com distratores injetados reduzindo a precisão da tarefa em até 60%. Além disso, revelamos que certas técnicas de alinhamento podem ampliar essa fraqueza e que os modelos podem exibir conformidade oculta, seguindo instruções adversárias ocultas no raciocínio enquanto as ocultam na saída final. Para mitigar esses riscos, propomos uma defesa baseada em treinamento que combina Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL) em dados adversários sintéticos, melhorando a robustez em mais de 50 pontos em ataques de distratores desafiadores. Nossas descobertas estabelecem a distração de raciocínio como uma ameaça distinta e urgente à confiabilidade dos LRMs e fornecem um passo prático em direção a sistemas de raciocínio mais seguros e confiáveis.

English

Recent advances in large reasoning models (LRMs) have enabled remarkable performance on complex tasks such as mathematics and coding by generating long Chain-of-Thought (CoT) traces. In this paper, we identify and systematically analyze a critical vulnerability we term reasoning distraction, where LRMs are diverted from their primary objective by irrelevant yet complex tasks maliciously embedded in the prompt. Through a comprehensive study across diverse models and benchmarks, we show that even state-of-the-art LRMs are highly susceptible, with injected distractors reducing task accuracy by up to 60%. We further reveal that certain alignment techniques can amplify this weakness and that models may exhibit covert compliance, following hidden adversarial instructions in reasoning while concealing them in the final output. To mitigate these risks, we propose a training-based defense that combines Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) on synthetic adversarial data, improving robustness by over 50 points on challenging distractor attacks. Our findings establish reasoning distraction as a distinct and urgent threat to LRM reliability and provide a practical step toward safer and more trustworthy reasoning systems.