効率的なテスト時推論のためのクレームレベル信頼性評価

要旨

我々は、テスト時スケーリングの原理として主張レベルの反証を提案し、それをCLR（Claim-Level Reliability Assessment、主張レベル信頼性評価）として具体化する。CLRは学習不要のフレームワークであり、テスト時計算資源を追加の解サンプリングから対象を絞った検証へ再配分する。トレース全体の評価では、定型的なトークンによる信号の希釈のために決定的な誤りが覆い隠されがちである。そこでCLRは、各推論トレースを意思決定上重要な主張のコンパクトな集合へ凝縮し、論理的アンカーを抽出する。さらに、固定されたモデル能力の下で完全に正しい解を生成することの本質的な難しさを認識し、CLRは意味論的反証に焦点を移す。このアプローチは、解の構築と主張の反証との間の根本的な非対称性を利用する。有効な解を構築するには欠陥のない推論経路が必要であるのに対し、誤った主張を反証するにはただ一つの決定的な欠陥を特定すれば十分である。この否定的証拠に的を絞った探索は、高信頼度の誤ったトレースの生存空間を体系的に圧縮し、非線形な信頼性スコアリングによって誤ったコンセンサスを効果的に抑制する。同等の計算予算の下で、4つのLLMと4つの推論ベンチマークにわたる実験において、CLRは概してpass@1と自己整合性を改善する。例えば、GPT-OSS-20B/CMIMC25では、CLRはpass@1を27.15パーセントポイント上回り、自己整合性の正解率を77.50\%から82.19\%へと引き上げ、しかも37.0\%少ないトークンでそれを実現する。

English

We propose claim-level falsification as a principle for test-time scaling and instantiate it through Claim-Level Reliability Assessment (CLR), a training-free framework that reallocates test-time compute from additional solution sampling to targeted verification. Since whole-trace evaluation often obscures decisive errors due to signal dilution from routine tokens, CLR condenses each reasoning trace into a compact set of decision-critical claims, thereby isolating its logical anchors. Furthermore, recognizing the inherent difficulty of generating entirely correct solutions under fixed model capabilities, CLR shifts the focus to semantic falsification. This approach exploits a fundamental asymmetry between solution construction and claim refutation. Constructing a valid solution requires a flawless reasoning path, whereas refuting an incorrect claim requires identifying only a single decisive flaw. This targeted search for negative evidence systematically compresses the survival space of high-confidence incorrect traces, effectively suppressing erroneous consensus via nonlinear reliability scoring. Across four LLMs and four reasoning benchmarks under matched budgets, CLR generally improves upon pass@1 and self-consistency. On GPT-OSS-20B/CMIMC25, for instance, CLR exceeds pass@1 by 27.15 percentage-points and raises self-consistency accuracy from 77.50\% to 82.19\% with 37.0\% fewer tokens.