Stabilisatie van Efficiënt Redeneren met Stapsgewijs Voordeelselectie

Samenvatting

Grote taalmodellen (LLM's) bereiken sterke redeneerprestaties door aanzienlijke rekenkracht in te zetten tijdens inferentie, waarbij ze vaak lange en uitgebreide redeneersporen genereren. Hoewel recent werk op het gebied van efficiënt redeneren deze overhead vermindert via op lengte gebaseerde beloningen of snoeien, worden veel benaderingen na-getraind onder een veel kortere contextvenster dan de basismodeltraining – een factor waarvan het effect niet systematisch geïsoleerd is. We tonen eerst aan dat na-training met een korte context alleen, met behulp van standaard GRPO zonder enige lengtebewuste doelstelling, al substantiële redeneercompressie induceert, maar ten koste van toenemend onstabiele trainingsdynamiek en nauwkeurigheidsverlies. Om dit aan te pakken, stellen we Stapsgewijs Voordeel Selectie (SAS) voor, dat opereert op het niveau van de redeneerstap en een nulvoordeel toekent aan stappen met een lage betrouwbaarheid in correcte rollouts en aan stappen met een hoge betrouwbaarheid in rollouts die de verificator niet doorstaan, waarbij falen vaak voortkomt uit afkapping of verificatorproblemen in plaats van incorrect redeneren. Over diverse wiskundige en algemene redeneerbenchmarks verbetert SAS de gemiddelde Pass@1-nauwkeurigheid met 0,86 punten ten opzichte van de sterkste lengtebewuste baseline, terwijl de gemiddelde redeneerlengte met 16,3% wordt verminderd, wat een betere nauwkeurigheid-efficiëntie afweging oplevert.

English

Large language models (LLMs) achieve strong reasoning performance by allocating substantial computation at inference time, often generating long and verbose reasoning traces. While recent work on efficient reasoning reduces this overhead through length-based rewards or pruning, many approaches are post-trained under a much shorter context window than base-model training, a factor whose effect has not been systematically isolated. We first show that short-context post-training alone, using standard GRPO without any length-aware objective, already induces substantial reasoning compression-but at the cost of increasingly unstable training dynamics and accuracy degradation. To address this, we propose Step-level Advantage Selection (SAS), which operates at the reasoning-step level and assigns a zero advantage to low-confidence steps in correct rollouts and to high-confidence steps in verifier-failed rollouts, where failures often arise from truncation or verifier issues rather than incorrect reasoning. Across diverse mathematical and general reasoning benchmarks, SAS improves average Pass@1 accuracy by 0.86 points over the strongest length-aware baseline while reducing average reasoning length by 16.3%, yielding a better accuracy-efficiency trade-off.

Stabilisatie van Efficiënt Redeneren met Stapsgewijs Voordeelselectie

Stabilizing Efficient Reasoning with Step-Level Advantage Selection

Samenvatting

Support