Além da Log-Verossimilhança: Objetivos Baseados em Probabilidade para Ajuste Fino Supervisionado ao Longo do Contínuo de Capacidade do Modelo

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

October 1, 2025

Autores: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

cs.AI

Resumo

O ajuste fino supervisionado (SFT) é a abordagem padrão para o pós-treinamento de grandes modelos de linguagem (LLMs), mas frequentemente apresenta generalização limitada. Rastreamos essa limitação ao seu objetivo de treinamento padrão: a log-verossimilhança negativa (NLL). Embora a NLL seja classicamente ótima ao treinar do zero, o pós-treinamento opera em um paradigma diferente e pode violar suas suposições de otimalidade, onde os modelos já codificam prioridades relevantes para a tarefa e a supervisão pode ser longa e ruidosa. Para isso, estudamos uma família geral de objetivos baseados em probabilidade e caracterizamos sua eficácia sob diferentes condições. Por meio de experimentos abrangentes e extensos estudos de ablação em 7 arquiteturas de modelos, 14 benchmarks e 3 domínios, descobrimos uma dimensão crítica que governa o comportamento dos objetivos: o contínuo de capacidade do modelo. Próximo ao extremo de modelo forte, objetivos que priorizam as probabilidades anteriores e reduzem o peso de tokens de baixa probabilidade (por exemplo, -p, -p^{10}, variantes com limiar) consistentemente superam a NLL; no extremo de modelo fraco, a NLL domina; no meio, nenhum objetivo único prevalece. Nossa análise teórica ainda esclarece como os objetivos trocam de posição ao longo do contínuo, fornecendo uma base fundamentada para adaptar os objetivos à capacidade do modelo. Nosso código está disponível em https://github.com/GaotangLi/Beyond-Log-Likelihood.

English

Supervised fine-tuning (SFT) is the standard approach for post-training large language models (LLMs), yet it often shows limited generalization. We trace this limitation to its default training objective: negative log likelihood (NLL). While NLL is classically optimal when training from scratch, post-training operates in a different paradigm and could violate its optimality assumptions, where models already encode task-relevant priors and supervision can be long and noisy. To this end, we study a general family of probability-based objectives and characterize their effectiveness under different conditions. Through comprehensive experiments and extensive ablation studies across 7 model backbones, 14 benchmarks, and 3 domains, we uncover a critical dimension that governs objective behavior: the model-capability continuum. Near the model-strong end, prior-leaning objectives that downweight low-probability tokens (e.g., -p, -p^{10}, thresholded variants) consistently outperform NLL; toward the model-weak end, NLL dominates; in between, no single objective prevails. Our theoretical analysis further elucidates how objectives trade places across the continuum, providing a principled foundation for adapting objectives to model capability. Our code is available at https://github.com/GaotangLi/Beyond-Log-Likelihood.