ProFit: Benutting van Hoogwaardige Signalen in SFT via Waarschijnlijkheidsgeleide Tokenselectie
ProFit: Leveraging High-Value Signals in SFT via Probability-Guided Token Selection
January 14, 2026
Auteurs: Tao Liu, Taiqiang Wu, Runming Yang, Shaoning Sun, Junjie Wang, Yujiu Yang
cs.AI
Samenvatting
Supervised fine-tuning (SFT) is een fundamentele post-trainingstrategie om Large Language Models (LLM's) af te stemmen op menselijke intenties. Traditionele SFT negeert echter vaak het één-op-veel-karakter van taal door de afstemming te forceren op een enkel referentieantwoord, wat leidt tot overfitting van het model aan niet-kernachtige uitdrukkingen. Hoewel onze empirische analyse suggereert dat het introduceren van meerdere referentieantwoorden dit probleem kan verzachten, maken de buitensporige data- en rekenkosten een strategische verschuiving noodzakelijk: het prioriteren van het beperken van overfitting door een enkel referentieantwoord boven de kostbare zoektocht naar antwoorddiversiteit. Om dit te bereiken, onthullen we de intrinsieke verbinding tussen tokenwaarschijnlijkheid en semantisch belang: tokens met een hoge waarschijnlijkheid dragen het kernlogische raamwerk, terwijl tokens met een lage waarschijnlijkheid grotendeels vervangbare uitdrukkingen zijn. Gebaseerd op dit inzicht stellen we ProFit voor, dat selectief tokens met een lage waarschijnlijkheid maskeert om overfitting aan het oppervlakteniveau te voorkomen. Uitgebreide experimenten bevestigen dat ProFit consistent beter presteert dan traditionele SFT-baselines op algemene redeneer- en wiskundige benchmarks.
English
Supervised fine-tuning (SFT) is a fundamental post-training strategy to align Large Language Models (LLMs) with human intent. However, traditional SFT often ignores the one-to-many nature of language by forcing alignment with a single reference answer, leading to the model overfitting to non-core expressions. Although our empirical analysis suggests that introducing multiple reference answers can mitigate this issue, the prohibitive data and computational costs necessitate a strategic shift: prioritizing the mitigation of single-reference overfitting over the costly pursuit of answer diversity. To achieve this, we reveal the intrinsic connection between token probability and semantic importance: high-probability tokens carry the core logical framework, while low-probability tokens are mostly replaceable expressions. Based on this insight, we propose ProFit, which selectively masks low-probability tokens to prevent surface-level overfitting. Extensive experiments confirm that ProFit consistently outperforms traditional SFT baselines on general reasoning and mathematical benchmarks.