モデルを信頼せよ：分布誘導型信頼度較正

要旨

大規模推論モデルは、テスト時スケーリング技術の進歩により顕著な性能を発揮している。この技術は、複数の候補回答を生成し、最も信頼性の高い回答を選択することで予測精度を向上させる。従来の研究では、信頼度スコアのような内部モデル信号が回答の正しさを部分的に示し、精度との分布的相関を示すことが分析されてきたが、このような分布情報は回答選択を導くために十分に活用されていなかった。この動機から、我々はDistriVotingを提案する。この手法は、投票時に信頼度に加えて別の信号として分布的事前情報を組み込む。具体的には、本手法は(1)まず混合信頼度分布をガウス混合モデルを用いて正例と負例の成分に分解し、(2)次にそれらから得られた正例/負例サンプルに基づく棄却フィルタを適用して、二つの分布間の重なりを緩和する。さらに、分布そのものの観点から重なりを緩和するため、ステップ単位の信頼度を用いて推論プロセスを動的に調整するSelfStepConfを提案する。これにより、二つの分布間の分離を増大させ、投票における信頼度の信頼性を向上させる。16のモデルと5つのベンチマークにわたる実験により、本手法が最先端手法を大幅に上回ることを実証した。

English

Large Reasoning Models have demonstrated remarkable performance with the advancement of test-time scaling techniques, which enhances prediction accuracy by generating multiple candidate responses and selecting the most reliable answer. While prior work has analyzed that internal model signals like confidence scores can partly indicate response correctness and exhibit a distributional correlation with accuracy, such distributional information has not been fully utilized to guide answer selection. Motivated by this, we propose DistriVoting, which incorporates distributional priors as another signal alongside confidence during voting. Specifically, our method (1) first decomposes the mixed confidence distribution into positive and negative components using Gaussian Mixture Models, (2) then applies a reject filter based on positive/negative samples from them to mitigate overlap between the two distributions. Besides, to further alleviate the overlap from the perspective of distribution itself, we propose SelfStepConf, which uses step-level confidence to dynamically adjust inference process, increasing the separation between the two distributions to improve the reliability of confidences in voting. Experiments across 16 models and 5 benchmarks demonstrate that our method significantly outperforms state-of-the-art approaches.

モデルを信頼せよ：分布誘導型信頼度較正

Believe Your Model: Distribution-Guided Confidence Calibration

要旨

Support