더 많은 샘플링이 해가 되는 경우: 테스트 시간 스케일링의 모달 상한과 상관관계 상한

초록

사람들은 지나치게 생각한다; 언어 모델은 지나치게 샘플링하며, 그로 인한 추가 노력은 오히려 더 나쁜 답변을 초래할 수 있다. 추론 시스템은 어려운 질문에 대해 여러 번 샘플링(테스트 시간 확장)함으로써 답을 구하는데, 샘플링을 많이 할수록 올바른 답이 어딘가에서 등장할 확률이 높아진다. 따라서 적어도 한 번의 올바른 시도가 있는 문제의 비율인 커버리지는 상승하며, 이는 진전으로 보인다. 그러나 실제 배포 시스템은 하나의 답변을 반환해야 하며, 어떤 시도가 올바른지 모르는 상태에서 답을 선택하는 것이 선별이다. 선별에는 한계가 있으며, 일정 지점을 넘어서면 추가 샘플은 모델이 확신에 찬 오류를 더 확신하게 만들 뿐, 모든 샘플이 비용을 추가한다. 상승하는 커버리지와 정체된 선별 사이의 간극, 즉 식별 가능성 격차는 모델이 생성할 수는 있지만 선택할 수 없는 답을 의미한다. 따라서 진짜 문제는 샘플링을 할 것인지가 아니라 얼마나 할 것인지이며, 그 답은 '많이 하지 말라'이다. 답변을 선택할 때, 투표는 수십 번의 샘플링 이내에 이미 결정된다(모달 상한). 벤치마크 점수를 매길 때는 더욱 빠르다(상관 상한). 그 이상으로 추가 샘플은 계산 비용만 들이고 아무것도 더하지 않으며, 심지어 답변을 더 나쁘게 만들 수도 있다. 이 논문은 이러한 컷오프를 단일 숫자, 즉 유효 샘플 수로 변환하며, 이는 모든 샘플링 실행에서 이미 드러난다. 병목 현상은 올바른 답을 생성하는 것이 아니라 인식하는 데 있다.

English

People overthink; language models over-sample, and the extra effort can talk both into a worse answer. Reasoning systems answer a hard question by sampling it many times (test-time scaling), and the more they draw, the more often a correct answer turns up somewhere, so coverage, the fraction of problems with at least one correct try, climbs and appears to be progress. But a deployed system must return one answer, and choosing it, not knowing which try is right, is selection; selection is capped, and past a point extra samples only make the model surer of a confident mistake, even as every draw adds cost. The gap between climbing coverage and stalled selection, the identifiability gap, is the answer a model can produce but not pick. So the real question is not whether to sample but how far, and the answer is: not far. For picking an answer, the vote has already settled within a few dozen draws, the modal ceiling; for scoring a benchmark, sooner still, the correlation ceiling. Beyond that, extra draws cost compute and add nothing, and can even make the answer worse. This paper turns the cutoff into a single number, the effective number of samples, that any sampling run already reveals. The bottleneck is recognizing a right answer, not generating one.