Когда увеличение выборки вредит: модальный и корреляционный потолки масштабирования на этапе тестирования

Аннотация

Люди склонны к излишним размышлениям; языковые модели — к избыточному сэмплированию, и лишние усилия могут привести обе стороны к худшему результату. Системы рассуждений решают сложный вопрос, многократно его сэмплируя (масштабирование на этапе тестирования), и чем больше сэмплов, тем чаще где-то появляется правильный ответ, поэтому покрытие — доля задач с хотя бы одной верной попыткой — растёт и кажется прогрессом. Однако развёрнутая система должна выдать один ответ, и его выбор, когда неизвестно, какая попытка верна, — это отбор; отбор имеет предел, и после определённой точки лишние сэмплы лишь укрепляют уверенность модели в ошибочном ответе, при этом каждая попытка увеличивает затраты. Разрыв между растущим покрытием и застопорившимся отбором — разрыв идентифицируемости — это ответ, который модель может породить, но не в силах выбрать. Поэтому настоящий вопрос не в том, стоит ли сэмплировать, а в том, как далеко заходить, и ответ таков: недалеко. Для выбора ответа голосование устоялось уже через несколько десятков сэмплов — это модальный потолок; для оценки бенчмарка ещё раньше — корреляционный потолок. Дальнейшие сэмплы требуют затрат, ничего не добавляют и даже способны ухудшить ответ. В данной статье порог превращается в единственное число — эффективное количество сэмплов, которое любой сэмплинг уже выявляет. Узким местом является распознавание правильного ответа, а не его генерация.

English

People overthink; language models over-sample, and the extra effort can talk both into a worse answer. Reasoning systems answer a hard question by sampling it many times (test-time scaling), and the more they draw, the more often a correct answer turns up somewhere, so coverage, the fraction of problems with at least one correct try, climbs and appears to be progress. But a deployed system must return one answer, and choosing it, not knowing which try is right, is selection; selection is capped, and past a point extra samples only make the model surer of a confident mistake, even as every draw adds cost. The gap between climbing coverage and stalled selection, the identifiability gap, is the answer a model can produce but not pick. So the real question is not whether to sample but how far, and the answer is: not far. For picking an answer, the vote has already settled within a few dozen draws, the modal ceiling; for scoring a benchmark, sooner still, the correlation ceiling. Beyond that, extra draws cost compute and add nothing, and can even make the answer worse. This paper turns the cutoff into a single number, the effective number of samples, that any sampling run already reveals. The bottleneck is recognizing a right answer, not generating one.