Quando Mais Amostragem Prejudica: O Teto Modal e o Teto de Correlação do Escalonamento em Tempo de Teste

Resumo

As pessoas pensam demais; modelos de linguagem super-amostram, e o esforço extra pode levar ambos a uma resposta pior. Sistemas de raciocínio respondem a uma pergunta difícil amostrando-a muitas vezes (escalonamento em tempo de teste), e quanto mais eles amostram, mais frequentemente uma resposta correta aparece em algum lugar, então a cobertura — a fração de problemas com pelo menos uma tentativa correta — aumenta e parece ser progresso. Mas um sistema implantado deve retornar uma única resposta, e escolhê-la, sem saber qual tentativa está correta, é seleção; a seleção tem um limite, e além de certo ponto, amostras extras apenas tornam o modelo mais seguro de um erro confiante, mesmo que cada tentativa adicione custo. A lacuna entre a cobertura crescente e a seleção estagnada — a lacuna de identificabilidade — é a resposta que um modelo pode produzir, mas não selecionar. Portanto, a verdadeira questão não é se amostrar, mas até onde, e a resposta é: não muito longe. Para selecionar uma resposta, o voto já se estabilizou dentro de algumas dezenas de tentativas — o teto modal; para pontuar um benchmark, ainda mais cedo — o teto de correlação. Além disso, tentativas extras consomem computação e não acrescentam nada, podendo até piorar a resposta. Este artigo transforma o ponto de corte em um único número — o número efetivo de amostras — que qualquer execução de amostragem já revela. O gargalo é reconhecer uma resposta correta, não gerar uma.

English

People overthink; language models over-sample, and the extra effort can talk both into a worse answer. Reasoning systems answer a hard question by sampling it many times (test-time scaling), and the more they draw, the more often a correct answer turns up somewhere, so coverage, the fraction of problems with at least one correct try, climbs and appears to be progress. But a deployed system must return one answer, and choosing it, not knowing which try is right, is selection; selection is capped, and past a point extra samples only make the model surer of a confident mistake, even as every draw adds cost. The gap between climbing coverage and stalled selection, the identifiability gap, is the answer a model can produce but not pick. So the real question is not whether to sample but how far, and the answer is: not far. For picking an answer, the vote has already settled within a few dozen draws, the modal ceiling; for scoring a benchmark, sooner still, the correlation ceiling. Beyond that, extra draws cost compute and add nothing, and can even make the answer worse. This paper turns the cutoff into a single number, the effective number of samples, that any sampling run already reveals. The bottleneck is recognizing a right answer, not generating one.