Wenn mehr Sampling schadet: Die modale Obergrenze und die Korrelationsobergrenze der Testzeit-Skalierung

Zusammenfassung

Menschen neigen zum Überdenken, Sprachmodelle zum Über-Sampeln – und der zusätzliche Aufwand kann beide zu einer schlechteren Antwort führen. Schlussfolgerungssysteme beantworten eine schwierige Frage, indem sie sie mehrfach sampeln (Skalierung zur Testzeit); je häufiger sie ziehen, desto öfter taucht irgendwo eine korrekte Antwort auf. Die Abdeckung – der Anteil der Probleme mit mindestens einem korrekten Versuch – steigt und erscheint als Fortschritt. Ein eingesetztes System muss jedoch eine einzige Antwort liefern, und deren Auswahl – ohne zu wissen, welcher Versuch richtig ist – ist die Selektion. Die Selektion ist begrenzt; ab einem bestimmten Punkt führen zusätzliche Stichproben nur dazu, dass das Modell sich eines selbstbewussten Fehlers immer sicherer wird, selbst wenn jeder Durchlauf Kosten verursacht. Die Kluft zwischen steigender Abdeckung und stagnierender Selektion – die Identifizierbarkeitslücke – ist die Antwort, die ein Modell erzeugen, aber nicht auswählen kann. Die eigentliche Frage ist also nicht, ob man sampeln soll, sondern wie weit, und die Antwort lautet: nicht weit. Für die Auswahl einer Antwort hat sich die Abstimmung bereits nach einigen Dutzend Durchläufen stabilisiert – die modale Obergrenze; für die Bewertung eines Benchmarks noch früher – die Korrelationsobergrenze. Darüber hinaus kosten zusätzliche Durchläufe Rechenzeit, bringen nichts und können die Antwort sogar verschlechtern. Dieser Artikel fasst die Grenze zu einer einzigen Zahl zusammen: der effektiven Anzahl von Stichproben, die jeder Sampling-Durchlauf bereits offenbart. Der Engpass liegt im Erkennen einer richtigen Antwort, nicht im Erzeugen einer solchen.

English

People overthink; language models over-sample, and the extra effort can talk both into a worse answer. Reasoning systems answer a hard question by sampling it many times (test-time scaling), and the more they draw, the more often a correct answer turns up somewhere, so coverage, the fraction of problems with at least one correct try, climbs and appears to be progress. But a deployed system must return one answer, and choosing it, not knowing which try is right, is selection; selection is capped, and past a point extra samples only make the model surer of a confident mistake, even as every draw adds cost. The gap between climbing coverage and stalled selection, the identifiability gap, is the answer a model can produce but not pick. So the real question is not whether to sample but how far, and the answer is: not far. For picking an answer, the vote has already settled within a few dozen draws, the modal ceiling; for scoring a benchmark, sooner still, the correlation ceiling. Beyond that, extra draws cost compute and add nothing, and can even make the answer worse. This paper turns the cutoff into a single number, the effective number of samples, that any sampling run already reveals. The bottleneck is recognizing a right answer, not generating one.