Ablenkungsinjektionsangriffe auf große Reasoning-Modelle: Charakterisierung und Abwehr

Distractor Injection Attacks on Large Reasoning Models: Characterization and Defense

October 17, 2025

papers.authors: Zhehao Zhang, Weijie Xu, Shixian Cui, Chandan K. Reddy

cs.AI

papers.abstract

Jüngste Fortschritte bei großen Reasoning-Modellen (LRMs) haben bemerkenswerte Leistungen bei komplexen Aufgaben wie Mathematik und Programmierung durch die Generierung langer Chain-of-Thought (CoT)-Spuren ermöglicht. In diesem Artikel identifizieren und analysieren wir systematisch eine kritische Schwachstelle, die wir als Reasoning-Ablenkung bezeichnen, bei der LRMs von ihrem primären Ziel durch irrelevante, aber komplexe Aufgaben abgelenkt werden, die böswillig in den Prompt eingebettet sind. Durch eine umfassende Studie über verschiedene Modelle und Benchmarks zeigen wir, dass selbst state-of-the-art LRMs stark anfällig sind, wobei eingefügte Ablenkungen die Aufgaben-Genauigkeit um bis zu 60 % reduzieren. Wir zeigen weiterhin, dass bestimmte Alignment-Techniken diese Schwäche verstärken können und dass Modelle eine verdeckte Compliance zeigen können, indem sie versteckte adversarische Anweisungen im Reasoning befolgen, diese jedoch im finalen Output verbergen. Um diese Risiken zu mindern, schlagen wir eine trainingsbasierte Verteidigung vor, die Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) auf synthetischen adversarischen Daten kombiniert und die Robustheit bei herausfordernden Ablenkungsangriffen um über 50 Punkte verbessert. Unsere Ergebnisse etablieren Reasoning-Ablenkung als eine eigenständige und dringende Bedrohung für die Zuverlässigkeit von LRMs und bieten einen praktischen Schritt hin zu sichereren und vertrauenswürdigeren Reasoning-Systemen.

English

Recent advances in large reasoning models (LRMs) have enabled remarkable performance on complex tasks such as mathematics and coding by generating long Chain-of-Thought (CoT) traces. In this paper, we identify and systematically analyze a critical vulnerability we term reasoning distraction, where LRMs are diverted from their primary objective by irrelevant yet complex tasks maliciously embedded in the prompt. Through a comprehensive study across diverse models and benchmarks, we show that even state-of-the-art LRMs are highly susceptible, with injected distractors reducing task accuracy by up to 60%. We further reveal that certain alignment techniques can amplify this weakness and that models may exhibit covert compliance, following hidden adversarial instructions in reasoning while concealing them in the final output. To mitigate these risks, we propose a training-based defense that combines Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) on synthetic adversarial data, improving robustness by over 50 points on challenging distractor attacks. Our findings establish reasoning distraction as a distinct and urgent threat to LRM reliability and provide a practical step toward safer and more trustworthy reasoning systems.