Oltre la Log-Verosimiglianza: Obiettivi Basati sulla Probabilità per il Fine-Tuning Supervisionato lungo il Continuum delle Capacità del Modello

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

October 1, 2025

Autori: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

cs.AI

Abstract

Il fine-tuning supervisionato (SFT) è l'approccio standard per il post-addestramento di grandi modelli linguistici (LLM), ma spesso mostra una generalizzazione limitata. Riconduciamo questa limitazione al suo obiettivo di addestramento predefinito: la log-verosimiglianza negativa (NLL). Sebbene la NLL sia classicamente ottimale quando si addestra da zero, il post-addestramento opera in un paradigma diverso e potrebbe violare le sue ipotesi di ottimalità, in cui i modelli già codificano prior rilevanti per il compito e la supervisione può essere lunga e rumorosa. A tal fine, studiamo una famiglia generale di obiettivi basati sulla probabilità e caratterizziamo la loro efficacia in diverse condizioni. Attraverso esperimenti completi e ampi studi di ablazione su 7 architetture di modelli, 14 benchmark e 3 domini, scopriamo una dimensione critica che governa il comportamento degli obiettivi: il continuum delle capacità del modello. Verso l'estremo in cui il modello è forte, obiettivi che privilegiano i prior e scontano i token a bassa probabilità (ad esempio, -p, -p^{10}, varianti sogliate) superano costantemente la NLL; verso l'estremo in cui il modello è debole, la NLL domina; nel mezzo, nessun obiettivo prevale. La nostra analisi teorica chiarisce ulteriormente come gli obiettivi si scambiano di posto lungo il continuum, fornendo una base principiata per adattare gli obiettivi alle capacità del modello. Il nostro codice è disponibile all'indirizzo https://github.com/GaotangLi/Beyond-Log-Likelihood.

English

Supervised fine-tuning (SFT) is the standard approach for post-training large language models (LLMs), yet it often shows limited generalization. We trace this limitation to its default training objective: negative log likelihood (NLL). While NLL is classically optimal when training from scratch, post-training operates in a different paradigm and could violate its optimality assumptions, where models already encode task-relevant priors and supervision can be long and noisy. To this end, we study a general family of probability-based objectives and characterize their effectiveness under different conditions. Through comprehensive experiments and extensive ablation studies across 7 model backbones, 14 benchmarks, and 3 domains, we uncover a critical dimension that governs objective behavior: the model-capability continuum. Near the model-strong end, prior-leaning objectives that downweight low-probability tokens (e.g., -p, -p^{10}, thresholded variants) consistently outperform NLL; toward the model-weak end, NLL dominates; in between, no single objective prevails. Our theoretical analysis further elucidates how objectives trade places across the continuum, providing a principled foundation for adapting objectives to model capability. Our code is available at https://github.com/GaotangLi/Beyond-Log-Likelihood.