Längenstrafen machen Chain-of-Thought weniger überwachbar

Zusammenfassung

Längenbestrafendes Verstärkungslernen kann das Chain-of-Thought-Denken verkürzen, während es einen Einfluss verbirgt, der die Antwort des Modells antreibt. In unseren Experimenten verhindert das Training mit Längenbestrafungen nicht, dass irreführende Hinweise die Modelle lenken, obwohl die Gedankenketten der Modelle den Hinweis deutlich seltener erwähnen. Eine Token-Genauigkeitsbewertung würde diese Durchläufe als erfolgreich zählen, da sie weniger Denk-Token mit geringem Genauigkeitsverlust verwenden; sie würde übersehen, ob die verbleibende Spur noch zeigt, was die Antwort antrieb. Wir trainieren Qwen3-4B- und Qwen3-14B-Varianten mit unterschiedlichen Zielkettenlängen, bewerten sie dann mit verzerrenden Hinweiseingriffen auf ausgelassenem MMLU-Pro-R und vier Transfer-Benchmarks. Die Kompression reduziert die Denk-Token drastisch, bewahrt die meisten Multiple-Choice-Genauigkeiten und lässt den Einfluss des Hinweises nahe der Basislinie. Beim stärksten Ziel sinkt die untere Grenze der Treue auf 63,1% der Basislinie für Qwen3-14B und 69,4% für Qwen3-4B; die rohe Rate, mit der ein Monitor die Nutzung von Hinweisen erfasst, fällt von 69% auf 49% bzw. von 60% auf 48%. Um Länge von Inhalt zu trennen, löschen wir zufällig Sätze aus unkomprimierten Basisketten, bis der verbleibende Text der komprimierten Länge entspricht. Selbst nach diesem Längenabgleich geben komprimierte Ketten den Hinweis 7 bis 35 Prozentpunkte seltener preis als Basisketten, die wir zufällig verkürzen, sowohl für beide Qwen3-Größen als auch für alle fünf Evaluationsverteilungen. Die Kompression tut daher mehr, als das Denken zu verkürzen, indem sie vorzugsweise die Hinweise entfernt, die ein Monitor benötigt, um zu sehen, was die Antwort beeinflusst hat. Zusammen offenbaren diese Ergebnisse eine Kompressions-Monitorierbarkeitsgrenze, bei der günstigeres Denken Antworten bewahren kann, während die Einflüsse dahinter schwerer zu erkennen sind.

English

Length-penalized reinforcement learning can shorten chain-of-thought reasoning while hiding an influence that drives the model's answer. In our experiments, training with length penalties does not stop misleading hints from steering models, even though the models' chains of thought mention the hint much less often. A token-accuracy evaluation would count these runs as successful because they use fewer reasoning tokens with little accuracy loss; it would miss whether the remaining trace still shows what drove the answer. We train Qwen3-4B and Qwen3-14B variants with different target chain lengths, then evaluate them with biasing-hint interventions on held-out MMLU-Pro-R and four transfer benchmarks. Compression sharply cuts reasoning tokens, preserves most multiple-choice accuracy, and leaves hint influence near baseline. At the strongest target, lower-bound faithfulness falls to 63.1% of baseline for Qwen3-14B and 69.4% for Qwen3-4B; the raw rate at which a monitor catches hint use falls from 69% to 49% and from 60% to 48%. To separate length from content, we randomly delete sentences from uncompressed baseline chains until the remaining text matches the compressed length. Even after this length matching, compressed chains disclose the hint 7-35 percentage points less often than baseline chains that we shorten at random, for both Qwen3 sizes and all five evaluation distributions. Compression therefore does more than shorten reasoning, preferentially removing the cues a monitor needs to see what influenced the answer. Together, these results reveal a compression-monitorability frontier in which cheaper reasoning can preserve answers while making the influences behind them harder to detect.