Eerste Poging Telt: De Rol van Reflectie in Redeneermodellen Herbezien

First Try Matters: Revisiting the Role of Reflection in Reasoning Models

October 9, 2025

Auteurs: Liwei Kang, Yue Deng, Yao Xiao, Zhanfeng Mo, Wee Sun Lee, Lidong Bing

cs.AI

Samenvatting

Grote taalmodellen hebben recentelijk aanzienlijke vooruitgang geboekt in redeneervaardigheden, wat vaak wordt toegeschreven aan hun vermogen om langere gedachtegangen te genereren en reflectief redeneren toe te passen. Echter blijft de bijdrage van reflecties aan prestatieverbetering onduidelijk. In dit artikel analyseren we systematisch de uitvoeringen van acht redeneermodellen op vijf wiskundige datasets. We richten ons op reflectief gedrag waarbij het model al een antwoord heeft geproduceerd maar blijft reflecteren voordat het zijn uitvoer finaliseert. Onze analyse toont aan dat reflecties voornamelijk bevestigend zijn en zelden het initiële antwoord van het model veranderen, een patroon dat consistent is over modellen en datasets. Om de rol van reflecties in training te begrijpen, construeren we supervised fine-tuning (SFT) datasets met variërende aantallen reflectiestappen. We observeren dat het trainen van modellen op uitvoeringen met meer reflectiestappen vooral de correctheid van het eerste antwoord verbetert, in plaats van het vermogen om initieel foute antwoorden via reflecties te corrigeren. Dit motiveert ons om een vraagbewuste early-stopping methode voor te stellen die de token-efficiëntie tijdens inferentie verbetert door het redeneerproces te stoppen zodra een paar plausibele kandidaat-antwoorden zijn gegenereerd, waardoor onnodige reflectiestappen worden verminderd. Hierdoor geïnspireerd stellen we verder voor om de reflecties dynamisch af te kappen nadat een kandidaat-antwoord is verschenen tijdens de generatie, wat het aantal redeneertokens met 24,5% reduceert over vijf wiskundige datasets, binnen een nauwkeurigheidsdaling van 2,9%.

English

Large language models have recently demonstrated significant gains in reasoning ability, often attributed to their capacity to generate longer chains of thought and engage in reflective reasoning. However, the contribution of reflections to performance improvement remains unclear. In this paper, we systematically analyze the rollouts of eight reasoning models on five mathematical datasets. We focus on reflective behaviours where the model has already produced an answer but continues reflecting before finalizing its output. Our analysis reveals that reflections are predominantly confirmatory and rarely alter the model's initial answer, a pattern consistent across models and datasets. To understand the role of reflections in training, we construct supervised fine-tuning (SFT) datasets with varying amounts of reflection steps. We observe that training models on rollouts with more reflection steps primarily enhances first-answer correctness rather than the ability to correct initially wrong answers through reflections. This motivates us to propose a question-aware early-stopping method that enhances inference-time token efficiency by stopping the reasoning process once a few plausible candidate answers are generated, thereby reducing unnecessary reflection steps. Motivated by this, we further propose to dynamically truncate the reflections after a candidate answer has appeared during generation, which reduces reasoning tokens by 24.5% across five mathematical datasets, within a 2.9% drop in accuracy.