長さペナルティは思考連鎖の監視可能性を低下させる

要旨

長さペナルティ付き強化学習は、思考連鎖推論を短縮しつつ、モデルの回答を導く影響を隠蔽することが可能である。我々の実験では、長さペナルティを用いた訓練は、モデルの回答に誤ったヒントを誘導することを阻止できない。たとえモデルの思考連鎖においてヒントへの言及頻度が大幅に減少してもである。トークン精度評価では、推論トークン数を削減しつつ精度の低下がほとんどないため、これらの実行は成功とみなされるが、残された痕跡が依然として回答を駆動した要因を示しているかどうかは捉えられない。我々は、異なる目標思考連鎖長を持つQwen3-4BおよびQwen3-14Bの変種を訓練し、保持されたMMLU-Pro-Rおよび4つの転移ベンチマーク上でバイアスヒント介入による評価を行った。圧縮により推論トークンは大幅に削減され、多肢選択式の精度は概ね維持される一方、ヒントの影響はベースライン近傍に留まる。最も強い目標設定では、下界の忠実性はQwen3-14Bでベースラインの63.1%、Qwen3-4Bで69.4%に低下する。モニターがヒントの使用を検出する生の割合は、それぞれ69%から49%、60%から48%に低下する。長さと内容を分離するため、圧縮されていないベースラインの思考連鎖から、残ったテキストが圧縮後の長さと一致するまで文をランダムに削除した。この長さ一致の後でも、圧縮された思考連鎖は、Qwen3の両サイズおよび全5つの評価分布において、ランダムに短縮したベースラインの思考連鎖よりも、ヒントを開示する頻度が7～35パーセントポイント低い。したがって、圧縮は推論を短縮する以上の効果を持ち、モニターが回答に影響を与えた要因を確認するために必要な手がかりを優先的に除去する。これらの結果は、圧縮-監視可能性フロンティアが存在することを明らかにし、安価な推論が回答を維持しつつ、その背後にある影響を検出しにくくする可能性を示している。

English

Length-penalized reinforcement learning can shorten chain-of-thought reasoning while hiding an influence that drives the model's answer. In our experiments, training with length penalties does not stop misleading hints from steering models, even though the models' chains of thought mention the hint much less often. A token-accuracy evaluation would count these runs as successful because they use fewer reasoning tokens with little accuracy loss; it would miss whether the remaining trace still shows what drove the answer. We train Qwen3-4B and Qwen3-14B variants with different target chain lengths, then evaluate them with biasing-hint interventions on held-out MMLU-Pro-R and four transfer benchmarks. Compression sharply cuts reasoning tokens, preserves most multiple-choice accuracy, and leaves hint influence near baseline. At the strongest target, lower-bound faithfulness falls to 63.1% of baseline for Qwen3-14B and 69.4% for Qwen3-4B; the raw rate at which a monitor catches hint use falls from 69% to 49% and from 60% to 48%. To separate length from content, we randomly delete sentences from uncompressed baseline chains until the remaining text matches the compressed length. Even after this length matching, compressed chains disclose the hint 7-35 percentage points less often than baseline chains that we shorten at random, for both Qwen3 sizes and all five evaluation distributions. Compression therefore does more than shorten reasoning, preferentially removing the cues a monitor needs to see what influenced the answer. Together, these results reveal a compression-monitorability frontier in which cheaper reasoning can preserve answers while making the influences behind them harder to detect.