Stabiliser le raisonnement efficace par la sélection d'avantages au niveau des étapes

Résumé

Les grands modèles de langage (LLM) obtiennent de solides performances en raisonnement en allouant des calculs substantiels au moment de l'inférence, générant souvent des traces de raisonnement longues et verbeuses. Si les travaux récents sur le raisonnement efficace réduisent cette surcharge via des récompenses basées sur la longueur ou l'élagage, de nombreuses approches sont post-entraînées avec une fenêtre de contexte bien plus courte que lors de l'entraînement du modèle de base, un facteur dont l'effet n'a pas été systématiquement isolé. Nous montrons d'abord que le post-entraînement en contexte court seul, utilisant un GRPO standard sans objectif de longueur, induit déjà une compression substantielle du raisonnement – mais au prix d'une dynamique d'entraînement de plus en plus instable et d'une dégradation de la précision. Pour y remédier, nous proposons la Sélection d'Avantage par Étape (SAS), qui opère au niveau des étapes de raisonnement et attribue un avantage nul aux étapes de faible confiance dans les déroulements corrects et aux étapes de haute confiance dans les déroulements échouant la vérification, où les échecs proviennent souvent de troncation ou de problèmes de vérificateur plutôt que d'un raisonnement incorrect. Sur divers benchmarks de raisonnement mathématique et général, SAS améliore la précision Pass@1 moyenne de 0,86 point par rapport à la base la plus forte consciente de la longueur, tout en réduisant la longueur moyenne du raisonnement de 16,3 %, offrant un meilleur compromis précision-efficacité.

English

Large language models (LLMs) achieve strong reasoning performance by allocating substantial computation at inference time, often generating long and verbose reasoning traces. While recent work on efficient reasoning reduces this overhead through length-based rewards or pruning, many approaches are post-trained under a much shorter context window than base-model training, a factor whose effect has not been systematically isolated. We first show that short-context post-training alone, using standard GRPO without any length-aware objective, already induces substantial reasoning compression-but at the cost of increasingly unstable training dynamics and accuracy degradation. To address this, we propose Step-level Advantage Selection (SAS), which operates at the reasoning-step level and assigns a zero advantage to low-confidence steps in correct rollouts and to high-confidence steps in verifier-failed rollouts, where failures often arise from truncation or verifier issues rather than incorrect reasoning. Across diverse mathematical and general reasoning benchmarks, SAS improves average Pass@1 accuracy by 0.86 points over the strongest length-aware baseline while reducing average reasoning length by 16.3%, yielding a better accuracy-efficiency trade-off.