Les tokens de pensée aident-ils à la sécurité ?

Résumé

Les modèles de raisonnement actuels utilisent des jetons de réflexion pour obtenir de meilleures performances sur les références que leurs équivalents ajustés par instruction. On pense généralement que ce mode plus « délibératif » devrait améliorer l'alignement et la sécurité, en offrant au modèle un espace sûr pour déterminer si sa réponse prévue à une requête enfreint ses principes de sécurité. Nous apportons la preuve que cette intuition n'est pas toujours juste. En examinant des modèles de raisonnement de pointe à poids ouverts, couvrant les familles GPT-OSS, Qwen, Olmo et Phi, nous constatons que le résultat final (refus/obéissance) est déjà fortement prévisible via un classifieur entraîné sur la représentation cachée du premier jeton (AUROC de 0,84 à 0,95 et précision équilibrée d'environ 88 % pour prédire le refus/l'obéissance) avant toute réflexion visible. Le processus de réflexion s'apparente davantage à une complétion de préfixe qu'à une révision délibérative, le résultat final changeant rarement après les premiers 20 % de la réflexion environ, malgré l'apparence de délibération au niveau textuel (environ 74 % des délibérations textuelles surviennent alors que la distribution des réponses est déjà verrouillée d'un côté, refus ou obéissance). Nous constatons également que les interventions de sécurité existantes, tant en temps d'inférence que basées sur l'entraînement, bien que motivées par l'objectif d'induire une délibération, orientent largement le comportement du modèle vers un sur-refus tout en supprimant les signaux de délibération déjà rares. Nos résultats suggèrent que le comportement de sécurité dans les modèles de raisonnement actuels est bien moins délibératif qu'on ne le suppose généralement, et soulignent la nécessité de méthodes qui induisent une véritable délibération en matière de sécurité.

English

Today's reasoning models use thinking tokens to attain stronger performance on benchmarks than their instruction-tuned counterparts. It is also generally believed that this more "deliberative" mode should improve alignment and safety, by providing the model a safe space to consider whether its planned answer to a request violates its safety principles. We present evidence that this intuition is not always correct. Across frontier open-weight reasoning models spanning GPT-OSS, Qwen, Olmo, and Phi families, we find that the eventual refusal/compliance outcome is already strongly predictable via a trained head on the first token's hidden representation (0.84-0.95 AUROC and sim88% balanced accuracy for predicting refusal/compliance) before any visible thinking. The thinking process turns out to be more akin to prefix completion than to deliberative revision, with the final outcome rarely changing after the first sim20% of thinking, despite giving the appearance of deliberation at the text level (sim74% of text-level deliberations occur when the response distribution is already locked to one refusal/compliance side). We also find that existing inference-time and training-based safety interventions, despite being motivated by the goal of inducing deliberation, largely shift model behavior toward over-refusal while suppressing already-scarce deliberation signals. Our results suggest that safety behavior in current reasoning models is much less deliberative than commonly assumed, and highlight the need for methods that induce real safety deliberation.