Voorbij Log Waarschijnlijkheid: Waarschijnlijkheidsgebaseerde Doelstellingen voor Supervised Fine-Tuning over het Continuüm van Modelcapaciteiten

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

October 1, 2025

Auteurs: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

cs.AI

Samenvatting

Supervised fine-tuning (SFT) is de standaardaanpak voor het na-trainen van grote taalmodelen (LLMs), maar toont vaak beperkte generalisatie. Wij herleiden deze beperking tot het standaard trainingsdoel: negatieve log likelihood (NLL). Hoewel NLL klassiek optimaal is bij trainen vanaf nul, werkt na-trainen in een ander paradigma en kan het de optimaliteitsaannames schenden, waarbij modellen al taakrelevante prioriteiten coderen en de supervisie lang en ruisachtig kan zijn. Daarom bestuderen we een algemene familie van op waarschijnlijkheid gebaseerde doelen en karakteriseren we hun effectiviteit onder verschillende omstandigheden. Door middel van uitgebreide experimenten en uitgebreide ablatiestudies over 7 modelbackbones, 14 benchmarks en 3 domeinen, ontdekken we een kritieke dimensie die het gedrag van doelen bepaalt: het model-capaciteitcontinuüm. Aan het model-sterke uiteinde overtreffen prior-leaning doelen die tokens met een lage waarschijnlijkheid minder zwaar wegen (bijv. -p, -p^{10}, drempelvarianten) consistent NLL; aan het model-zwakke uiteinde domineert NLL; daartussenin prevaleert geen enkel doel. Onze theoretische analyse verduidelijkt verder hoe doelen van plaats wisselen over het continuüm, en biedt een principiële basis voor het aanpassen van doelen aan modelcapaciteit. Onze code is beschikbaar op https://github.com/GaotangLi/Beyond-Log-Likelihood.

English

Supervised fine-tuning (SFT) is the standard approach for post-training large language models (LLMs), yet it often shows limited generalization. We trace this limitation to its default training objective: negative log likelihood (NLL). While NLL is classically optimal when training from scratch, post-training operates in a different paradigm and could violate its optimality assumptions, where models already encode task-relevant priors and supervision can be long and noisy. To this end, we study a general family of probability-based objectives and characterize their effectiveness under different conditions. Through comprehensive experiments and extensive ablation studies across 7 model backbones, 14 benchmarks, and 3 domains, we uncover a critical dimension that governs objective behavior: the model-capability continuum. Near the model-strong end, prior-leaning objectives that downweight low-probability tokens (e.g., -p, -p^{10}, thresholded variants) consistently outperform NLL; toward the model-weak end, NLL dominates; in between, no single objective prevails. Our theoretical analysis further elucidates how objectives trade places across the continuum, providing a principled foundation for adapting objectives to model capability. Our code is available at https://github.com/GaotangLi/Beyond-Log-Likelihood.