ProFit: Nutzung hochwertiger Signale in SFT durch wahrscheinlichkeitsgesteuerte Token-Auswahl
ProFit: Leveraging High-Value Signals in SFT via Probability-Guided Token Selection
January 14, 2026
papers.authors: Tao Liu, Taiqiang Wu, Runming Yang, Shaoning Sun, Junjie Wang, Yujiu Yang
cs.AI
papers.abstract
Supervised Fine-Tuning (SFT) ist eine grundlegende Nachbearbeitungsstrategie, um Large Language Models (LLMs) mit menschlichen Absichten in Einklang zu bringen. Herkömmliches SFT ignoriert jedoch oft die Eins-zu-viele-Natur der Sprache, indem es die Ausrichtung auf eine einzige Referenzantwort erzwingt, was dazu führt, dass das Modell an nebensächliche Ausdrücke überangepasst wird. Obwohl unsere empirische Analyse nahelegt, dass die Einführung mehrerer Referenzantworten dieses Problem mildern kann, zwingen uns die prohibitiv hohen Daten- und Rechenkosten zu einem strategischen Umdenken: die Priorisierung der Minderung der Überanpassung an einzelne Referenzen gegenüber dem kostspieligen Streben nach Antwortvielfalt. Um dies zu erreichen, beleuchten wir den intrinsischen Zusammenhang zwischen Token-Wahrscheinlichkeit und semantischer Bedeutung: Tokens mit hoher Wahrscheinlichkeit tragen den Kern des logischen Gerüsts, während Tokens mit niedriger Wahrscheinlichkeit größtenteils ersetzbare Ausdrücke sind. Aufbauend auf dieser Erkenntnis schlagen wir ProFit vor, das gezielt Tokens mit niedriger Wahrscheinlichkeit maskiert, um eine Überanpassung auf oberflächlicher Ebene zu verhindern. Umfangreiche Experimente bestätigen, dass ProFit traditionelle SFT-Baselines auf Benchmarks für allgemeines Schlussfolgern und Mathematik durchgängig übertrifft.
English
Supervised fine-tuning (SFT) is a fundamental post-training strategy to align Large Language Models (LLMs) with human intent. However, traditional SFT often ignores the one-to-many nature of language by forcing alignment with a single reference answer, leading to the model overfitting to non-core expressions. Although our empirical analysis suggests that introducing multiple reference answers can mitigate this issue, the prohibitive data and computational costs necessitate a strategic shift: prioritizing the mitigation of single-reference overfitting over the costly pursuit of answer diversity. To achieve this, we reveal the intrinsic connection between token probability and semantic importance: high-probability tokens carry the core logical framework, while low-probability tokens are mostly replaceable expressions. Based on this insight, we propose ProFit, which selectively masks low-probability tokens to prevent surface-level overfitting. Extensive experiments confirm that ProFit consistently outperforms traditional SFT baselines on general reasoning and mathematical benchmarks.