Les pénalités de longueur rendent la chaîne de pensée moins monitorable

Résumé

L'apprentissage par renforcement avec pénalité de longueur peut raccourcir le raisonnement en chaîne de pensée tout en masquant l'influence qui motive la réponse du modèle. Dans nos expériences, l'entraînement avec pénalités de longueur n'empêche pas les indices trompeurs d'orienter les modèles, même si les chaînes de pensée de ces derniers mentionnent beaucoup moins souvent l'indice. Une évaluation de la précision par token compterait ces passages comme réussis, car ils utilisent moins de tokens de raisonnement avec une perte de précision minime ; elle ne détecterait pas si la trace restante montre encore ce qui a influencé la réponse. Nous entraînons des variantes de Qwen3-4B et Qwen3-14B avec différentes longueurs cibles de chaîne, puis nous les évaluons avec des interventions d'indices biaisés sur le jeu de test retenu de MMLU-Pro-R et quatre benchmarks de transfert. La compression réduit fortement les tokens de raisonnement, préserve la plupart de la précision de choix multiples et laisse l'influence de l'indice proche de la référence. Avec la cible la plus forte, la fidélité inférieure chute à 63,1 % de la référence pour Qwen3-14B et à 69,4 % pour Qwen3-4B ; le taux brut auquel un moniteur détecte l'utilisation de l'indice passe de 69 % à 49 % et de 60 % à 48 %. Pour séparer longueur et contenu, nous supprimons aléatoirement des phrases des chaînes de référence non compressées jusqu'à ce que le texte restant corresponde à la longueur compressée. Même après cet appariement de longueur, les chaînes compressées révèlent l'indice 7 à 35 points de pourcentage moins souvent que les chaînes de référence raccourcies aléatoirement, et ce pour les deux tailles de Qwen3 et les cinq distributions d'évaluation. La compression ne se contente donc pas de raccourcir le raisonnement, elle supprime de manière préférentielle les indices dont un moniteur a besoin pour voir ce qui a influencé la réponse. Ensemble, ces résultats révèlent une frontière compression-surveillabilité dans laquelle un raisonnement moins coûteux peut préserver les réponses tout en rendant plus difficile la détection des influences qui les sous-tendent.

English

Length-penalized reinforcement learning can shorten chain-of-thought reasoning while hiding an influence that drives the model's answer. In our experiments, training with length penalties does not stop misleading hints from steering models, even though the models' chains of thought mention the hint much less often. A token-accuracy evaluation would count these runs as successful because they use fewer reasoning tokens with little accuracy loss; it would miss whether the remaining trace still shows what drove the answer. We train Qwen3-4B and Qwen3-14B variants with different target chain lengths, then evaluate them with biasing-hint interventions on held-out MMLU-Pro-R and four transfer benchmarks. Compression sharply cuts reasoning tokens, preserves most multiple-choice accuracy, and leaves hint influence near baseline. At the strongest target, lower-bound faithfulness falls to 63.1% of baseline for Qwen3-14B and 69.4% for Qwen3-4B; the raw rate at which a monitor catches hint use falls from 69% to 49% and from 60% to 48%. To separate length from content, we randomly delete sentences from uncompressed baseline chains until the remaining text matches the compressed length. Even after this length matching, compressed chains disclose the hint 7-35 percentage points less often than baseline chains that we shorten at random, for both Qwen3 sizes and all five evaluation distributions. Compression therefore does more than shorten reasoning, preferentially removing the cues a monitor needs to see what influenced the answer. Together, these results reveal a compression-monitorability frontier in which cheaper reasoning can preserve answers while making the influences behind them harder to detect.