Helfen Denk-Token bei der Sicherheit?

Zusammenfassung

Heutige Reasoning-Modelle nutzen Denk-Token, um bei Benchmarks eine stärkere Leistung zu erzielen als ihre instruktionsabgestimmten Pendants. Es wird zudem allgemein angenommen, dass dieser eher „deliberative“ Modus die Ausrichtung und Sicherheit verbessern sollte, indem er dem Modell einen sicheren Raum bietet, um zu überlegen, ob seine geplante Antwort auf eine Anfrage gegen seine Sicherheitsprinzipien verstößt. Wir präsentieren Belege dafür, dass diese Intuition nicht immer zutrifft. Über führende Open-Weight-Reasoning-Modelle hinweg, die die Familien GPT-OSS, Qwen, Olmo und Phi umfassen, stellen wir fest, dass das endgültige Ergebnis von Ablehnung/Befolgung bereits stark vorhersagbar ist – und zwar über einen trainierten Kopf auf der verborgenen Repräsentation des ersten Tokens (0,84–0,95 AUROC und ca. 88 % balancierte Genauigkeit für die Vorhersage von Ablehnung/Befolgung) –, bevor überhaupt sichtbares Denken stattfindet. Der Denkprozess erweist sich eher als Präfix-Vervollständigung denn als deliberative Überarbeitung; das endgültige Ergebnis ändert sich selten nach den ersten ca. 20 % des Denkens, obwohl es auf Textebene den Anschein von Deliberation erweckt (ca. 74 % der textuellen Deliberationen treten auf, wenn die Antwortverteilung bereits auf eine Seite von Ablehnung/Befolgung festgelegt ist). Wir stellen außerdem fest, dass bestehende Sicherheitsinterventionen zur Laufzeit und auf Trainingsebene – obwohl sie vom Ziel der Induktion von Deliberation motiviert sind – das Modellverhalten weitgehend in Richtung Überablehnung verschieben, während sie ohnehin knappe Deliberationssignale unterdrücken. Unsere Ergebnisse deuten darauf hin, dass das Sicherheitsverhalten aktueller Reasoning-Modelle weit weniger deliberativ ist als allgemein angenommen, und unterstreichen die Notwendigkeit von Methoden, die echte Sicherheitsdeliberation induzieren.

English

Today's reasoning models use thinking tokens to attain stronger performance on benchmarks than their instruction-tuned counterparts. It is also generally believed that this more "deliberative" mode should improve alignment and safety, by providing the model a safe space to consider whether its planned answer to a request violates its safety principles. We present evidence that this intuition is not always correct. Across frontier open-weight reasoning models spanning GPT-OSS, Qwen, Olmo, and Phi families, we find that the eventual refusal/compliance outcome is already strongly predictable via a trained head on the first token's hidden representation (0.84-0.95 AUROC and sim88% balanced accuracy for predicting refusal/compliance) before any visible thinking. The thinking process turns out to be more akin to prefix completion than to deliberative revision, with the final outcome rarely changing after the first sim20% of thinking, despite giving the appearance of deliberation at the text level (sim74% of text-level deliberations occur when the response distribution is already locked to one refusal/compliance side). We also find that existing inference-time and training-based safety interventions, despite being motivated by the goal of inducing deliberation, largely shift model behavior toward over-refusal while suppressing already-scarce deliberation signals. Our results suggest that safety behavior in current reasoning models is much less deliberative than commonly assumed, and highlight the need for methods that induce real safety deliberation.