Cuando un Mayor Muestreo Perjudica: Techo Modal y Techo de Correlación del Escalado en Tiempo de Prueba

Resumen

Las personas sobrepiensan; los modelos de lenguaje sobre-muestrean, y el esfuerzo adicional puede llevar a ambos a dar una respuesta peor. Los sistemas de razonamiento abordan una pregunta difícil muestreándola muchas veces (escalado en tiempo de prueba), y cuanto más extraen, con mayor frecuencia aparece una respuesta correcta en algún lado, por lo que la cobertura —la fracción de problemas con al menos un intento correcto— aumenta y parece indicar progreso. Pero un sistema implementado debe devolver una sola respuesta, y elegirla sin saber qué intento es el correcto es la selección; la selección tiene un límite, y más allá de cierto punto, las muestras adicionales solo hacen que el modelo esté más seguro de un error con confianza, incluso cuando cada extracción añade costo. La brecha entre la cobertura creciente y la selección estancada —la brecha de identificabilidad— es la respuesta que un modelo puede producir pero no elegir. Así que la verdadera pregunta no es si muestrear, sino hasta dónde, y la respuesta es: no muy lejos. Para elegir una respuesta, el voto ya se ha estabilizado en pocas docenas de extracciones —el techo modal—; para puntuar un punto de referencia, aún antes —el techo de correlación—. Más allá de eso, las extracciones adicionales cuestan cómputo y no añaden nada, e incluso pueden empeorar la respuesta. Este artículo convierte el punto de corte en un número único —el número efectivo de muestras— que cualquier ejecución de muestreo ya revela. El cuello de botella está en reconocer una respuesta correcta, no en generarla.

English

People overthink; language models over-sample, and the extra effort can talk both into a worse answer. Reasoning systems answer a hard question by sampling it many times (test-time scaling), and the more they draw, the more often a correct answer turns up somewhere, so coverage, the fraction of problems with at least one correct try, climbs and appears to be progress. But a deployed system must return one answer, and choosing it, not knowing which try is right, is selection; selection is capped, and past a point extra samples only make the model surer of a confident mistake, even as every draw adds cost. The gap between climbing coverage and stalled selection, the identifiability gap, is the answer a model can produce but not pick. So the real question is not whether to sample but how far, and the answer is: not far. For picking an answer, the vote has already settled within a few dozen draws, the modal ceiling; for scoring a benchmark, sooner still, the correlation ceiling. Beyond that, extra draws cost compute and add nothing, and can even make the answer worse. This paper turns the cutoff into a single number, the effective number of samples, that any sampling run already reveals. The bottleneck is recognizing a right answer, not generating one.