Wanneer Meer Sampling Schadelijk is: Het Modale Plafond en het Correlatieplafond van Test-Time Scaling

Samenvatting

Mensen denken te veel na; taalmodellen bemonsteren te veel, en de extra inspanning kan beide tot een slechter antwoord overhalen. Redeneersystemen beantwoorden een moeilijke vraag door deze vele malen te bemonsteren (testtijdsschaling), en hoe vaker ze trekken, hoe vaker een correct antwoord ergens opduikt, dus de dekking, de fractie problemen met ten minste één correcte poging, stijgt en lijkt vooruitgang te zijn. Maar een ingezet systeem moet één antwoord teruggeven, en het kiezen daarvan, zonder te weten welke poging juist is, is selectie; selectie is begrensd, en na een bepaald punt maken extra monsters het model alleen maar zekerder van een zelfverzekerde fout, zelfs terwijl elke trekking kosten toevoegt. De kloof tussen stijgende dekking en stagnerende selectie, de identificeerbaarheidskloof, is het antwoord dat een model kan produceren maar niet kan kiezen. De echte vraag is dus niet of men moet bemonsteren, maar hoe ver, en het antwoord is: niet ver. Bij het kiezen van een antwoord heeft de stem zich al gestabiliseerd binnen enkele tientallen trekkingen, het modusplafond; bij het scoren van een benchmark nog eerder, het correlatieplafond. Daarbovenop kosten extra trekkingen rekenkracht en voegen niets toe, en kunnen het antwoord zelfs slechter maken. Dit artikel zet de afkapwaarde om in een enkel getal, het effectieve aantal monsters, dat elke bemonsteringsronde al onthult. Het knelpunt is het herkennen van een juist antwoord, niet het genereren ervan.

English

People overthink; language models over-sample, and the extra effort can talk both into a worse answer. Reasoning systems answer a hard question by sampling it many times (test-time scaling), and the more they draw, the more often a correct answer turns up somewhere, so coverage, the fraction of problems with at least one correct try, climbs and appears to be progress. But a deployed system must return one answer, and choosing it, not knowing which try is right, is selection; selection is capped, and past a point extra samples only make the model surer of a confident mistake, even as every draw adds cost. The gap between climbing coverage and stalled selection, the identifiability gap, is the answer a model can produce but not pick. So the real question is not whether to sample but how far, and the answer is: not far. For picking an answer, the vote has already settled within a few dozen draws, the modal ceiling; for scoring a benchmark, sooner still, the correlation ceiling. Beyond that, extra draws cost compute and add nothing, and can even make the answer worse. This paper turns the cutoff into a single number, the effective number of samples, that any sampling run already reveals. The bottleneck is recognizing a right answer, not generating one.