推論モデルはなぜカバレッジを失うのか？データと分岐点の役割

要旨

大規模言語モデルの最近の進展により、複雑なタスクに特化した微調整手順を通じて強力な性能を示す推論モデルが出現している。これらの手法はpass@1精度を確実に向上させる一方、先行研究ではカバレッジ収縮挙動、すなわちベースモデルと比較してpass@kが低下することが観察されている。本稿では、SFTベースのポストトレーニング下で生じる推論収縮について調査する。我々は、この挙動が微調整データの特性、特にモデルが複数の妥当な推論経路を持つ判別困難なパターンに直面する「決定点」あるいは「分岐点」シナリオに起因すると仮説を立てる。この仮説を検証するため、グラフ分岐における判別不可能なノードや推論モードにわたる、かかる決定点設定を模倣した制御されたケーススタディを設計する。これらの設定におけるポストトレーニングのダイナミクスを追跡した結果、収縮現象は訓練データにおける決定点シナリオの頻度と強く相関していることが判明した。また、この収縮挙動は、決定点を対象としたデータ合成設計と、より体系的な多様性促進型デコーディング機構によって部分的に緩和可能であることを示す。本研究の知見は、データ中心の要因が推論モデルにおける収縮の主要な駆動力であることを特定し、多様性を考慮した設計がそれを制御する効果的な手段であることを強調する。

English

Recent progress in large language models has led to the emergence of reasoning models, which have shown strong performance on complex tasks through specialized fine-tuning procedures. While these methods reliably improve pass@1 accuracy, prior works have observed that they show a coverage shrinkage behavior, where pass@k degrades relative to the base model. In this paper, we investigate the reasoning shrinkage arise under SFT-based post-training. We hypothesize that this behavior is driven by properties of the fine-tuning data, specifically related to decision points or "forks in the road" scenarios where model faces indecipherable patterns with multiple valid reasoning paths. To test this hypothesis, we design controlled case studies that simulate such decision-point settings, spanning indecipherable nodes in graph branching, and reasoning modes. By tracking post-training dynamics in these settings, we find that the shrinkage phenomenon is tightly correlated with the prevalence of decision-point scenarios in the training data. We also demonstrate that this shrinkage behavior can be partially mitigated through targeted data synthesis design of decision-points, and a more systematic diversity-encouraging decoding mechanism. Our findings identify data-centric factors as a key driver of shrinkage in reasoning models and highlight diversity-aware designs as an effective lever for controlling it.