Más allá de la verosimilitud: Objetivos basados en probabilidad para el ajuste fino supervisado a lo largo del continuo de capacidades del modelo

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

October 1, 2025

Autores: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

cs.AI

Resumen

El ajuste fino supervisado (SFT) es el enfoque estándar para el posentrenamiento de modelos de lenguaje grandes (LLMs), pero a menudo muestra una generalización limitada. Rastreamos esta limitación a su objetivo de entrenamiento predeterminado: la log-verosimilitud negativa (NLL). Aunque la NLL es clásicamente óptima cuando se entrena desde cero, el posentrenamiento opera en un paradigma diferente y podría violar sus supuestos de optimalidad, donde los modelos ya codifican conocimientos previos relevantes para la tarea y la supervisión puede ser extensa y ruidosa. Con este fin, estudiamos una familia general de objetivos basados en probabilidad y caracterizamos su efectividad bajo diferentes condiciones. A través de experimentos exhaustivos y estudios de ablación extensos en 7 arquitecturas de modelos, 14 benchmarks y 3 dominios, descubrimos una dimensión crítica que gobierna el comportamiento de los objetivos: el continuo de capacidad del modelo. Cerca del extremo de modelo-fuerte, los objetivos que favorecen los conocimientos previos y reducen el peso de los tokens de baja probabilidad (por ejemplo, -p, -p^{10}, variantes con umbral) superan consistentemente a la NLL; hacia el extremo de modelo-débil, la NLL domina; en el medio, ningún objetivo prevalece. Nuestro análisis teórico aclara aún más cómo los objetivos intercambian posiciones a lo largo del continuo, proporcionando una base fundamentada para adaptar los objetivos a la capacidad del modelo. Nuestro código está disponible en https://github.com/GaotangLi/Beyond-Log-Likelihood.

English

Supervised fine-tuning (SFT) is the standard approach for post-training large language models (LLMs), yet it often shows limited generalization. We trace this limitation to its default training objective: negative log likelihood (NLL). While NLL is classically optimal when training from scratch, post-training operates in a different paradigm and could violate its optimality assumptions, where models already encode task-relevant priors and supervision can be long and noisy. To this end, we study a general family of probability-based objectives and characterize their effectiveness under different conditions. Through comprehensive experiments and extensive ablation studies across 7 model backbones, 14 benchmarks, and 3 domains, we uncover a critical dimension that governs objective behavior: the model-capability continuum. Near the model-strong end, prior-leaning objectives that downweight low-probability tokens (e.g., -p, -p^{10}, thresholded variants) consistently outperform NLL; toward the model-weak end, NLL dominates; in between, no single objective prevails. Our theoretical analysis further elucidates how objectives trade places across the continuum, providing a principled foundation for adapting objectives to model capability. Our code is available at https://github.com/GaotangLi/Beyond-Log-Likelihood.