Attacchi con Iniezione di Distrattori su Modelli di Ragionamento su Larga Scala: Caratterizzazione e Difesa

Distractor Injection Attacks on Large Reasoning Models: Characterization and Defense

October 17, 2025

Autori: Zhehao Zhang, Weijie Xu, Shixian Cui, Chandan K. Reddy

cs.AI

Abstract

I recenti progressi nei modelli di ragionamento su larga scala (LRM) hanno consentito prestazioni notevoli in compiti complessi come la matematica e la programmazione, grazie alla generazione di lunghe tracce di ragionamento a catena (Chain-of-Thought, CoT). In questo articolo, identifichiamo e analizziamo sistematicamente una vulnerabilità critica che definiamo distrazione del ragionamento, in cui gli LRM vengono deviati dal loro obiettivo principale da compiti irrilevanti ma complessi inseriti in modo malevolo nel prompt. Attraverso uno studio approfondito su diversi modelli e benchmark, dimostriamo che anche gli LRM più avanzati sono altamente suscettibili, con distrattori iniettati che riducono l'accuratezza del compito fino al 60%. Inoltre, riveliamo che alcune tecniche di allineamento possono amplificare questa debolezza e che i modelli possono mostrare una conformità nascosta, seguendo istruzioni avversarie nel ragionamento mentre le nascondono nell'output finale. Per mitigare questi rischi, proponiamo una difesa basata sull'addestramento che combina Fine-Tuning Supervisionato (SFT) e Apprendimento per Rinforzo (RL) su dati avversari sintetici, migliorando la robustezza di oltre 50 punti in attacchi con distrattori impegnativi. I nostri risultati stabiliscono la distrazione del ragionamento come una minaccia distinta e urgente per l'affidabilità degli LRM e forniscono un passo pratico verso sistemi di ragionamento più sicuri e affidabili.

English

Recent advances in large reasoning models (LRMs) have enabled remarkable performance on complex tasks such as mathematics and coding by generating long Chain-of-Thought (CoT) traces. In this paper, we identify and systematically analyze a critical vulnerability we term reasoning distraction, where LRMs are diverted from their primary objective by irrelevant yet complex tasks maliciously embedded in the prompt. Through a comprehensive study across diverse models and benchmarks, we show that even state-of-the-art LRMs are highly susceptible, with injected distractors reducing task accuracy by up to 60%. We further reveal that certain alignment techniques can amplify this weakness and that models may exhibit covert compliance, following hidden adversarial instructions in reasoning while concealing them in the final output. To mitigate these risks, we propose a training-based defense that combines Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) on synthetic adversarial data, improving robustness by over 50 points on challenging distractor attacks. Our findings establish reasoning distraction as a distinct and urgent threat to LRM reliability and provide a practical step toward safer and more trustworthy reasoning systems.