Redeneren met Steekproeven: Je Basismodel is Slimmer Dan Je Denkt

Reasoning with Sampling: Your Base Model is Smarter Than You Think

October 16, 2025

Auteurs: Aayush Karan, Yilun Du

cs.AI

Samenvatting

Geavanceerde redeneermodellen hebben ongelooflijke capaciteiten getoond in een breed scala aan disciplines, aangedreven door het nabijtrainen van grote taalmodellen (LLM's) met reinforcement learning (RL). Ondanks het wijdverbreide succes van dit paradigma, is een groot deel van de literatuur gewijd aan het ontwarren van werkelijk nieuw gedrag dat tijdens RL ontstaat maar niet aanwezig is in de basismodellen. In ons werk benaderen we deze vraag vanuit een andere hoek, en vragen we ons in plaats daarvan af of vergelijkbare redeneercapaciteiten kunnen worden opgeroepen uit basismodellen tijdens de inferentiefase door middel van pure steekproefname, zonder enige aanvullende training. Geïnspireerd door Markov chain Monte Carlo (MCMC)-technieken voor het nemen van steekproeven uit aangescherpte verdelingen, stellen we een eenvoudig iteratief steekproefalgoritme voor dat gebruikmaakt van de eigen likelihoods van de basismodellen. Over verschillende basismodellen tonen we aan dat ons algoritme substantiële verbeteringen biedt in redenering die bijna evenaren en zelfs overtreffen die van RL op een grote verscheidenheid aan one-shot taken, waaronder MATH500, HumanEval en GPQA. Bovendien vermijdt onze steekproefnemer het verval in diversiteit over meerdere steekproeven dat kenmerkend is voor RL-natraining. Cruciaal is dat onze methode geen training, gecureerde datasets of een verificator vereist, wat een brede toepasbaarheid suggereert buiten eenvoudig verifieerbare domeinen.

English

Frontier reasoning models have exhibited incredible capabilities across a wide array of disciplines, driven by posttraining large language models (LLMs) with reinforcement learning (RL). However, despite the widespread success of this paradigm, much of the literature has been devoted to disentangling truly novel behaviors that emerge during RL but are not present in the base models. In our work, we approach this question from a different angle, instead asking whether comparable reasoning capabilites can be elicited from base models at inference time by pure sampling, without any additional training. Inspired by Markov chain Monte Carlo (MCMC) techniques for sampling from sharpened distributions, we propose a simple iterative sampling algorithm leveraging the base models' own likelihoods. Over different base models, we show that our algorithm offers substantial boosts in reasoning that nearly match and even outperform those from RL on a wide variety of single-shot tasks, including MATH500, HumanEval, and GPQA. Moreover, our sampler avoids the collapse in diversity over multiple samples that is characteristic of RL-posttraining. Crucially, our method does not require training, curated datasets, or a verifier, suggesting broad applicability beyond easily verifiable domains.