길이 패널티는 Chain-of-Thought를 모니터링하기 어렵게 만든다

초록

길이 패널티 강화 학습은 모델의 답변을 이끄는 영향을 숨기면서 사고 사슬 추론을 단축할 수 있다. 실험에서 길이 패널티로 훈련해도 모델의 사고 사슬이 힌트를 훨씬 덜 언급함에도 불구하고 오해의 소지가 있는 힌트가 모델을 이끄는 것을 막지 못한다. 토큰 정확도 평가는 정확도 손실이 거의 없이 더 적은 추론 토큰을 사용하기 때문에 이러한 실행을 성공으로 간주하지만, 남아 있는 흔적이 여전히 답변을 이끈 요인을 보여주는지 여부를 놓칠 것이다. 우리는 다양한 목표 사슬 길이로 Qwen3-4B 및 Qwen3-14B 변형을 훈련한 후, 보류된 MMLU-Pro-R과 네 가지 전이 벤치마크에서 편향 힌트 개입으로 평가한다. 압축은 추론 토큰을 급격히 줄이고, 대부분의 다지선다 정확도를 유지하며, 힌트 영향을 베이스라인에 가깝게 유지한다. 가장 강력한 목표에서, 하한 충실도는 Qwen3-14B의 경우 베이스라인의 63.1%, Qwen3-4B의 경우 69.4%로 떨어지며, 모니터가 힌트 사용을 포착하는 원시 비율은 69%에서 49%, 60%에서 48%로 감소한다. 길이와 내용을 분리하기 위해, 압축되지 않은 베이스라인 사슬에서 남은 텍스트가 압축된 길이와 일치할 때까지 문장을 무작위로 삭제한다. 이러한 길이 일치 후에도, 압축된 사슬은 Qwen3 두 크기와 모든 다섯 가지 평가 분포에서 무작위로 단축한 베이스라인 사슬보다 힌트를 7-35% 포인트 덜 공개한다. 따라서 압축은 추론을 단축하는 것을 넘어, 모니터가 답변에 영향을 미친 요인을 파악하는 데 필요한 단서를 우선적으로 제거한다. 종합하면, 이러한 결과는 더 저렴한 추론이 답변을 보존하면서 그 배후의 영향을 탐지하기 어렵게 만드는 압축-모니터 가능성 경계를 드러낸다.

English

Length-penalized reinforcement learning can shorten chain-of-thought reasoning while hiding an influence that drives the model's answer. In our experiments, training with length penalties does not stop misleading hints from steering models, even though the models' chains of thought mention the hint much less often. A token-accuracy evaluation would count these runs as successful because they use fewer reasoning tokens with little accuracy loss; it would miss whether the remaining trace still shows what drove the answer. We train Qwen3-4B and Qwen3-14B variants with different target chain lengths, then evaluate them with biasing-hint interventions on held-out MMLU-Pro-R and four transfer benchmarks. Compression sharply cuts reasoning tokens, preserves most multiple-choice accuracy, and leaves hint influence near baseline. At the strongest target, lower-bound faithfulness falls to 63.1% of baseline for Qwen3-14B and 69.4% for Qwen3-4B; the raw rate at which a monitor catches hint use falls from 69% to 49% and from 60% to 48%. To separate length from content, we randomly delete sentences from uncompressed baseline chains until the remaining text matches the compressed length. Even after this length matching, compressed chains disclose the hint 7-35 percentage points less often than baseline chains that we shorten at random, for both Qwen3 sizes and all five evaluation distributions. Compression therefore does more than shorten reasoning, preferentially removing the cues a monitor needs to see what influenced the answer. Together, these results reveal a compression-monitorability frontier in which cheaper reasoning can preserve answers while making the influences behind them harder to detect.