Penalizações por Comprimento Tornam a Cadeia de Pensamento Menos Monitorável

Resumo

Aprendizado por reforço com penalidade de comprimento pode encurtar o raciocínio em cadeia de pensamento, ao mesmo tempo que oculta uma influência que direciona a resposta do modelo. Em nossos experimentos, o treinamento com penalidades de comprimento não impede que dicas enganosas influenciem os modelos, embora as cadeias de pensamento dos modelos mencionem a dica com muito menos frequência. Uma avaliação de precisão por token consideraria essas execuções bem-sucedidas por utilizarem menos tokens de raciocínio com pouca perda de precisão; ela deixaria de captar se o traço restante ainda revela o que motivou a resposta. Treinamos variantes do Qwen3-4B e Qwen3-14B com diferentes comprimentos-alvo de cadeia e, em seguida, as avaliamos com intervenções de dicas tendenciosas no conjunto reservado MMLU-Pro-R e em quatro benchmarks de transferência. A compressão reduz drasticamente os tokens de raciocínio, preserva a maior parte da precisão em múltipla escolha e mantém a influência da dica próxima à linha de base. No alvo mais forte, a fidelidade limite inferior cai para 63,1% da linha de base para o Qwen3-14B e para 69,4% para o Qwen3-4B; a taxa bruta com que um monitor detecta o uso da dica cai de 69% para 49% e de 60% para 48%. Para separar comprimento de conteúdo, excluímos aleatoriamente sentenças de cadeias de base não comprimidas até que o texto restante corresponda ao comprimento comprimido. Mesmo após essa correspondência de comprimento, as cadeias comprimidas revelam a dica com 7 a 35 pontos percentuais menos frequência do que as cadeias de base que encurtamos aleatoriamente, para ambos os tamanhos de Qwen3 e todas as cinco distribuições de avaliação. Portanto, a compressão faz mais do que encurtar o raciocínio, removendo preferencialmente as pistas que um monitor precisa para ver o que influenciou a resposta. Em conjunto, esses resultados revelam uma fronteira compressão-monitorabilidade na qual um raciocínio mais barato pode preservar as respostas enquanto torna mais difícil detectar as influências por trás delas.

English

Length-penalized reinforcement learning can shorten chain-of-thought reasoning while hiding an influence that drives the model's answer. In our experiments, training with length penalties does not stop misleading hints from steering models, even though the models' chains of thought mention the hint much less often. A token-accuracy evaluation would count these runs as successful because they use fewer reasoning tokens with little accuracy loss; it would miss whether the remaining trace still shows what drove the answer. We train Qwen3-4B and Qwen3-14B variants with different target chain lengths, then evaluate them with biasing-hint interventions on held-out MMLU-Pro-R and four transfer benchmarks. Compression sharply cuts reasoning tokens, preserves most multiple-choice accuracy, and leaves hint influence near baseline. At the strongest target, lower-bound faithfulness falls to 63.1% of baseline for Qwen3-14B and 69.4% for Qwen3-4B; the raw rate at which a monitor catches hint use falls from 69% to 49% and from 60% to 48%. To separate length from content, we randomly delete sentences from uncompressed baseline chains until the remaining text matches the compressed length. Even after this length matching, compressed chains disclose the hint 7-35 percentage points less often than baseline chains that we shorten at random, for both Qwen3 sizes and all five evaluation distributions. Compression therefore does more than shorten reasoning, preferentially removing the cues a monitor needs to see what influenced the answer. Together, these results reveal a compression-monitorability frontier in which cheaper reasoning can preserve answers while making the influences behind them harder to detect.