Estabilizando o Raciocínio Eficiente com Seleção de Vantagem a Nível de Etapa
Stabilizing Efficient Reasoning with Step-Level Advantage Selection
April 27, 2026
Autores: Han Wang, Xiaodong Yu, Jialian Wu, Jiang Liu, Ximeng Sun, Mohit Bansal, Zicheng Liu
cs.AI
Resumo
Os modelos de linguagem de grande escala (LLMs) alcançam um forte desempenho de raciocínio alocando computação substancial no tempo de inferência, frequentemente gerando traços de raciocínio longos e verbosos. Embora trabalhos recentes sobre raciocínio eficiente reduzam essa sobrecarga por meio de recompensas baseadas em comprimento ou poda, muitas abordagens são pós-treinadas sob um contexto muito mais curto do que o treinamento do modelo base, um fator cujo efeito não foi isolado sistematicamente. Primeiro, mostramos que o pós-treinamento de contexto curto por si só, usando o GRPO padrão sem qualquer objetivo consciente do comprimento, já induz uma compressão substancial do raciocínio – mas às custas de dinâmicas de treinamento cada vez mais instáveis e degradação da precisão. Para resolver isso, propomos a Seleção de Vantagem a Nível de Etapa (SAS), que opera ao nível da etapa de raciocínio e atribui uma vantagem zero a etapas de baixa confiança em rollouts corretos e a etapas de alta confiança em rollouts com falha do verificador, onde as falhas geralmente surgem de truncamento ou problemas do verificador, e não de raciocínio incorreto. Em diversos benchmarks de raciocínio matemático e geral, o SAS melhora a precisão média Pass@1 em 0,86 pontos sobre a linha de base mais forte consciente do comprimento, enquanto reduz o comprimento médio do raciocínio em 16,3%, resultando em um melhor compromisso entre precisão e eficiência.
English
Large language models (LLMs) achieve strong reasoning performance by allocating substantial computation at inference time, often generating long and verbose reasoning traces. While recent work on efficient reasoning reduces this overhead through length-based rewards or pruning, many approaches are post-trained under a much shorter context window than base-model training, a factor whose effect has not been systematically isolated. We first show that short-context post-training alone, using standard GRPO without any length-aware objective, already induces substantial reasoning compression-but at the cost of increasingly unstable training dynamics and accuracy degradation. To address this, we propose Step-level Advantage Selection (SAS), which operates at the reasoning-step level and assigns a zero advantage to low-confidence steps in correct rollouts and to high-confidence steps in verifier-failed rollouts, where failures often arise from truncation or verifier issues rather than incorrect reasoning. Across diverse mathematical and general reasoning benchmarks, SAS improves average Pass@1 accuracy by 0.86 points over the strongest length-aware baseline while reducing average reasoning length by 16.3%, yielding a better accuracy-efficiency trade-off.