サンプリングの増加が逆効果となる時：テスト時スケーリングにおけるモーダル天井と相関天井

要旨

人々は考えすぎ、言語モデルは過剰にサンプリングし、その余分な努力が両方をより悪い回答に導くことがある。推論システムは難しい質問に答えるために何度もサンプリングする（テスト時スケーリング）。サンプルを多く取るほど、どこかで正しい回答が現れる頻度が高くなるため、カバレッジ（少なくとも1回の正しい試行がある問題の割合）は上昇し、進歩のように見える。しかし、実際に運用されるシステムは1つの回答を返さなければならず、どの試行が正しいか分からない中で回答を選ぶことが選択である。選択には上限があり、ある時点を超えると、追加のサンプルはモデルに自信満々の誤りを確信させるだけで、各サンプルごとにコストがかかる。上昇するカバレッジと停滞する選択の間のギャップ、すなわち識別可能性ギャップは、モデルが生成できるが選択できない回答のことである。したがって、本当の疑問はサンプリングするかどうかではなく、どれだけサンプリングするかであり、その答えは「それほど多くない」である。回答を選ぶためには、数十回のサンプリング内で投票はすでに収束しており、それがモーダルシーリング（最頻値の上限）である。ベンチマークのスコアリングのためには、さらに早く収束し、それが相関係数の上限である。それを超えると、追加のサンプルは計算コストを消費し、何ももたらさず、回答を悪化させることさえある。本論文では、このカットオフをひとつの数値、すなわち有効サンプル数に変換する。この数値は、どのサンプリング実行においてもすでに明らかになっている。ボトルネックは正しい回答を認識することであり、生成することではない。

English

People overthink; language models over-sample, and the extra effort can talk both into a worse answer. Reasoning systems answer a hard question by sampling it many times (test-time scaling), and the more they draw, the more often a correct answer turns up somewhere, so coverage, the fraction of problems with at least one correct try, climbs and appears to be progress. But a deployed system must return one answer, and choosing it, not knowing which try is right, is selection; selection is capped, and past a point extra samples only make the model surer of a confident mistake, even as every draw adds cost. The gap between climbing coverage and stalled selection, the identifiability gap, is the answer a model can produce but not pick. So the real question is not whether to sample but how far, and the answer is: not far. For picking an answer, the vote has already settled within a few dozen draws, the modal ceiling; for scoring a benchmark, sooner still, the correlation ceiling. Beyond that, extra draws cost compute and add nothing, and can even make the answer worse. This paper turns the cutoff into a single number, the effective number of samples, that any sampling run already reveals. The bottleneck is recognizing a right answer, not generating one.