ProFit: 確率誘導トークン選択によるSFTにおける高価値信号の活用

要旨

教師ありファインチューニング（SFT）は、大規模言語モデル（LLM）を人間の意図に合わせるための基本的な学習後戦略である。しかし、従来のSFTは単一の正解回答への適合を強制することで、言語の一対多の性質を無視しがちであり、モデルが本質的でない表現に過適合する原因となっている。我々の実証分析は、複数の正解回答を導入することでこの問題を緩和できる可能性を示唆するものの、膨大なデータと計算コストがかかることから、回答の多様性を追求するよりも、単一参照回答による過適合の緩和を優先する戦略的転換が求められる。この目標を達成するため、我々はトークン確率と意味的重要性の内的関連を明らかにする：高確率トークンは核心的な論理構造を担い、低確率トークンは大部分が代替可能な表現である。この知見に基づき、我々はProFitを提案する。これは低確率トークンを選択的にマスキングし、表面的な過適合を防ぐ手法である。大規模な実験により、ProFitが一般的な推論および数学的ベンチマークにおいて、従来のSFTベースラインを一貫して上回ることが確認された。

English

Supervised fine-tuning (SFT) is a fundamental post-training strategy to align Large Language Models (LLMs) with human intent. However, traditional SFT often ignores the one-to-many nature of language by forcing alignment with a single reference answer, leading to the model overfitting to non-core expressions. Although our empirical analysis suggests that introducing multiple reference answers can mitigate this issue, the prohibitive data and computational costs necessitate a strategic shift: prioritizing the mitigation of single-reference overfitting over the costly pursuit of answer diversity. To achieve this, we reveal the intrinsic connection between token probability and semantic importance: high-probability tokens carry the core logical framework, while low-probability tokens are mostly replaceable expressions. Based on this insight, we propose ProFit, which selectively masks low-probability tokens to prevent surface-level overfitting. Extensive experiments confirm that ProFit consistently outperforms traditional SFT baselines on general reasoning and mathematical benchmarks.

ProFit: 確率誘導トークン選択によるSFTにおける高価値信号の活用

ProFit: Leveraging High-Value Signals in SFT via Probability-Guided Token Selection

要旨

Support