ProFit: Sfruttamento di Segnali ad Alto Valore nell'SFT Tramite Selezione Guidata di Token Probabilistici
ProFit: Leveraging High-Value Signals in SFT via Probability-Guided Token Selection
January 14, 2026
Autori: Tao Liu, Taiqiang Wu, Runming Yang, Shaoning Sun, Junjie Wang, Yujiu Yang
cs.AI
Abstract
L'addestramento supervisionato con messa a punto (SFT) è una strategia fondamentale post-addestramento per allineare i Grandi Modelli Linguistici (LLM) con l'intento umano. Tuttavia, l'SFT tradizionale ignora spesso la natura uno-a-molti del linguaggio forzando l'allineamento con una singola risposta di riferimento, portando il modello a un sovradattamento su espressioni non essenziali. Sebbene la nostra analisi empirica suggerisca che l'introduzione di multiple risposte di riferimento possa mitigare questo problema, i costi proibitivi dei dati e computativi richiedono un cambio strategico: dare priorità alla mitigazione del sovradattamento da singolo riferimento rispetto alla costosa ricerca della diversità delle risposte. Per raggiungere questo obiettivo, riveliamo la connessione intrinseca tra probabilità del token e importanza semantica: i token ad alta probabilità veicolano la struttura logica di base, mentre i token a bassa probabilità sono per lo più espressioni sostituibili. Basandoci su questa intuizione, proponiamo ProFit, che maschera selettivamente i token a bassa probabilità per prevenire il sovradattamento superficiale. Esperimenti estensivi confermano che ProFit supera costantemente i benchmark dell'SFT tradizionale in test di ragionamento generale e matematici.
English
Supervised fine-tuning (SFT) is a fundamental post-training strategy to align Large Language Models (LLMs) with human intent. However, traditional SFT often ignores the one-to-many nature of language by forcing alignment with a single reference answer, leading to the model overfitting to non-core expressions. Although our empirical analysis suggests that introducing multiple reference answers can mitigate this issue, the prohibitive data and computational costs necessitate a strategic shift: prioritizing the mitigation of single-reference overfitting over the costly pursuit of answer diversity. To achieve this, we reveal the intrinsic connection between token probability and semantic importance: high-probability tokens carry the core logical framework, while low-probability tokens are mostly replaceable expressions. Based on this insight, we propose ProFit, which selectively masks low-probability tokens to prevent surface-level overfitting. Extensive experiments confirm that ProFit consistently outperforms traditional SFT baselines on general reasoning and mathematical benchmarks.