大規模言語モデルの推論における内部確率と自己整合性を橋渡しする理論的研究

要旨

テストタイムスケーリングは、大規模言語モデル（LLM）の推論性能を向上させるために、計算リソースを追加することを目指す。この分野で広く用いられているアプローチは、サンプリングベースのテストタイムスケーリング手法であり、推論時に与えられた入力に対して複数の推論パスを生成することで推論を強化する。しかし、その実用的な成功にもかかわらず、理論的な基盤は未だ十分に探求されていない。本論文では、信頼度推定の観点に基づいて、サンプリングベースのテストタイムスケーリング手法を分析するための初めての理論的フレームワークを提供する。このフレームワークに基づき、自己一貫性とパープレキシティという二つの主要なパラダイムを分析し、自己一貫性は推定誤差が高く、パープレキシティはモデル誤差が大きく、推定誤差の収束が劣化する可能性があるという重要な限界を明らかにする。これらの限界を解決するために、我々はRPCというハイブリッド手法を提案する。RPCは、パープレキシティ一貫性と推論プルーニングという二つの主要なコンポーネントを通じて、理論的洞察を活用する。パープレキシティ一貫性は、自己一貫性とパープレキシティの長所を組み合わせ、推定誤差の収束速度を線形から指数関数的に向上させながら、モデル誤差を維持する。推論プルーニングは、低確率の推論パスを排除することで劣化を防ぐ。7つのベンチマークデータセットにおける理論分析と実証結果は、RPCが推論誤差を削減する強力な可能性を持つことを示している。特に、RPCは自己一貫性と同等の推論性能を達成しつつ、信頼度の信頼性を向上させるだけでなく、サンプリングコストを50%削減する。コードとリソースはhttps://wnjxyk.github.io/RPCで公開されている。

English

Test-time scaling seeks to improve the reasoning performance of large language models (LLMs) by adding computational resources. A prevalent approach within the field is sampling-based test-time scaling methods, which enhance reasoning by generating multiple reasoning paths for a given input during inference. However, despite its practical success, the theoretical foundations remain underexplored. In this paper, we provide the first theoretical framework for analyzing sampling-based test-time scaling methods, grounded in the perspective of confidence estimation. Based on the framework, we analyze two dominant paradigms: self-consistency and perplexity, and reveal key limitations: self-consistency suffers from high estimation error while perplexity exhibits substantial modeling error and possible degradation of the estimation error convergence. To address these limitations, we introduce RPC, a hybrid method that leverages our theoretical insights through two key components: Perplexity Consistency and Reasoning Pruning. Perplexity Consistency combines the strengths of self-consistency and perplexity, boosting the convergence rate of estimation error from linear to exponential while preserving model error. Reasoning Pruning prevents degradation by eliminating low-probability reasoning paths. Both theoretical analysis and empirical results across seven benchmark datasets demonstrate that RPC has a strong potential for reducing reasoning error. Notably, RPC achieves reasoning performance comparable to self-consistency while not only enhancing confidence reliability but also reducing sampling costs by 50%. The code and resources are available at https://wnjxyk.github.io/RPC.

大規模言語モデルの推論における内部確率と自己整合性を橋渡しする理論的研究

A Theoretical Study on Bridging Internal Probability and Self-Consistency for LLM Reasoning

要旨

Support