¿Ayudan los Tokens de Pensamiento con la Seguridad?

Resumen

Los modelos de razonamiento actuales utilizan tokens de pensamiento para alcanzar un rendimiento superior en benchmarks en comparación con sus versiones ajustadas por instrucciones. También se cree generalmente que este modo más "deliberativo" debería mejorar la alineación y la seguridad, al proporcionar al modelo un espacio seguro para considerar si su respuesta planificada a una solicitud viola sus principios de seguridad. Presentamos evidencia de que esta intuición no siempre es correcta. A través de modelos de razonamiento fronterizos de peso abierto que abarcan las familias GPT-OSS, Qwen, Olmo y Phi, encontramos que el resultado final de rechazo/cumplimiento ya es fuertemente predecible mediante un clasificador entrenado sobre la representación oculta del primer token (0.84-0.95 AUROC y ~88% de precisión balanceada para predecir rechazo/cumplimiento) antes de cualquier pensamiento visible. El proceso de pensamiento resulta ser más similar a la completación de prefijo que a una revisión deliberativa, y el resultado final rara vez cambia después del primer ~20% del pensamiento, a pesar de aparentar deliberación a nivel textual (~74% de las deliberaciones a nivel textual ocurren cuando la distribución de respuesta ya está fijada hacia un lado de rechazo/cumplimiento). También encontramos que las intervenciones de seguridad existentes en tiempo de inferencia y basadas en entrenamiento, aunque motivadas por el objetivo de inducir deliberación, desplazan en gran medida el comportamiento del modelo hacia el sobrerrechazo, mientras suprimen las señales de deliberación, ya de por sí escasas. Nuestros resultados sugieren que el comportamiento de seguridad en los modelos de razonamiento actuales es mucho menos deliberativo de lo que se asume comúnmente, y destacan la necesidad de métodos que induzcan una verdadera deliberación de seguridad.

English

Today's reasoning models use thinking tokens to attain stronger performance on benchmarks than their instruction-tuned counterparts. It is also generally believed that this more "deliberative" mode should improve alignment and safety, by providing the model a safe space to consider whether its planned answer to a request violates its safety principles. We present evidence that this intuition is not always correct. Across frontier open-weight reasoning models spanning GPT-OSS, Qwen, Olmo, and Phi families, we find that the eventual refusal/compliance outcome is already strongly predictable via a trained head on the first token's hidden representation (0.84-0.95 AUROC and sim88% balanced accuracy for predicting refusal/compliance) before any visible thinking. The thinking process turns out to be more akin to prefix completion than to deliberative revision, with the final outcome rarely changing after the first sim20% of thinking, despite giving the appearance of deliberation at the text level (sim74% of text-level deliberations occur when the response distribution is already locked to one refusal/compliance side). We also find that existing inference-time and training-based safety interventions, despite being motivated by the goal of inducing deliberation, largely shift model behavior toward over-refusal while suppressing already-scarce deliberation signals. Our results suggest that safety behavior in current reasoning models is much less deliberative than commonly assumed, and highlight the need for methods that induce real safety deliberation.