Zelfreflectieve generatie tijdens testtijd

Samenvatting

Grote taalmodellen (LLMs) lossen steeds vaker complexe redeneertaken op via lange ketens van gedachten, maar hun voorwaartse, autoregressieve generatieproces is kwetsbaar; vroege tokenfouten kunnen zich opstapelen, wat de noodzaak voor zelfreflectiemechanismen duidelijk maakt. Bestaande zelfreflectie voert echter ofwel revisies uit over volledige concepten of leert zelfcorrectie via kostbare training, beide fundamenteel reactief en inefficiënt. Om dit aan te pakken, stellen we Self-Reflective Generation at Test Time (SRGen) voor, een lichtgewicht testtijdraamwerk dat reflecteert voordat het genereert op onzekere punten. Tijdens het genereren van tokens gebruikt SRGen dynamische entropiedrempels om tokens met hoge onzekerheid te identificeren. Voor elk geïdentificeerd token traint het een specifiek correctievector, die de reeds gegenereerde context volledig benut voor een zelfreflectieve generatie om de tokenwaarschijnlijkheidsverdeling te corrigeren. Door retrospectief de gedeeltelijke output te analyseren, maakt deze zelfreflectie betrouwbaardere beslissingen mogelijk, waardoor de kans op fouten op zeer onzekere punten aanzienlijk wordt verminderd. Geëvalueerd op uitdagende wiskundige redeneerbenchmarks en een diverse set van LLMs, kan SRGen consistent modelredenering versterken: verbeteringen in kwaliteit bij een enkele doorloop vertalen zich ook in sterkere zelfconsistentie bij stemmen. Met name op AIME2024 met DeepSeek-R1-Distill-Qwen-7B levert SRGen absolute verbeteringen op van +12,0% bij Pass@1 en +13,3% bij Cons@5. Bovendien positioneren onze bevindingen SRGen als een plug-and-play methode die reflectie integreert in het generatieproces voor betrouwbare LLM-redenering, waarbij consistente winsten worden behaald met beperkte overhead en brede combineerbaarheid met andere trainingstijd- (bijv. RLHF) en testtijdtechnieken (bijv. SLOT).

English

Large language models (LLMs) increasingly solve complex reasoning tasks via long chain-of-thought, but their forward-only autoregressive generation process is fragile; early token errors can cascade, which creates a clear need for self-reflection mechanisms. However, existing self-reflection either performs revisions over full drafts or learns self-correction via expensive training, both fundamentally reactive and inefficient. To address this, we propose Self-Reflective Generation at Test Time (SRGen), a lightweight test-time framework that reflects before generating at uncertain points. During token generation, SRGen utilizes dynamic entropy thresholding to identify high-uncertainty tokens. For each identified token, it trains a specific corrective vector, which fully exploits the already generated context for a self-reflective generation to correct the token probability distribution. By retrospectively analyzing the partial output, this self-reflection enables more trustworthy decisions, thereby significantly reducing the probability of errors at highly uncertain points. Evaluated on challenging mathematical reasoning benchmarks and a diverse set of LLMs, SRGen can consistently strengthen model reasoning: improvements in single-pass quality also translate into stronger self-consistency voting. Especially, on AIME2024 with DeepSeek-R1-Distill-Qwen-7B, SRGen yields absolute improvements of +12.0% on Pass@1 and +13.3% on Cons@5. Moreover, our findings position SRGen as a plug-and-play method that integrates reflection into the generation process for reliable LLM reasoning, achieving consistent gains with bounded overhead and broad composability with other training-time (e.g., RLHF) and test-time (e.g., SLOT) techniques.