За пределами логарифмического правдоподобия: вероятностные цели для контролируемой тонкой настройки в континууме возможностей модели

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

October 1, 2025

Авторы: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

cs.AI

Аннотация

Контролируемая тонкая настройка (SFT) является стандартным подходом для посттренировки больших языковых моделей (LLM), однако она часто демонстрирует ограниченную обобщаемость. Мы связываем это ограничение с её стандартной целью обучения: отрицательным логарифмическим правдоподобием (NLL). Хотя NLL оптимально при обучении с нуля, посттренировка работает в другой парадигме и может нарушать его предположения об оптимальности, поскольку модели уже содержат априорные знания, связанные с задачами, а обучающие данные могут быть длинными и зашумлёнными. В связи с этим мы исследуем общее семейство вероятностных целей и анализируем их эффективность в различных условиях. Благодаря всесторонним экспериментам и обширным исследованиям на 7 архитектурах моделей, 14 бенчмарках и 3 доменах, мы выявляем ключевой параметр, определяющий поведение целей: континуум возможностей модели. Вблизи сильного конца континуума цели, склоняющиеся к априорным знаниям и снижающие вес маловероятных токенов (например, -p, -p^{10}, пороговые варианты), стабильно превосходят NLL; на слабом конце доминирует NLL; в промежуточной зоне ни одна цель не преобладает. Наш теоретический анализ дополнительно поясняет, как цели меняются местами вдоль континуума, предоставляя принципиальную основу для адаптации целей к возможностям модели. Наш код доступен по адресу https://github.com/GaotangLi/Beyond-Log-Likelihood.

English

Supervised fine-tuning (SFT) is the standard approach for post-training large language models (LLMs), yet it often shows limited generalization. We trace this limitation to its default training objective: negative log likelihood (NLL). While NLL is classically optimal when training from scratch, post-training operates in a different paradigm and could violate its optimality assumptions, where models already encode task-relevant priors and supervision can be long and noisy. To this end, we study a general family of probability-based objectives and characterize their effectiveness under different conditions. Through comprehensive experiments and extensive ablation studies across 7 model backbones, 14 benchmarks, and 3 domains, we uncover a critical dimension that governs objective behavior: the model-capability continuum. Near the model-strong end, prior-leaning objectives that downweight low-probability tokens (e.g., -p, -p^{10}, thresholded variants) consistently outperform NLL; toward the model-weak end, NLL dominates; in between, no single objective prevails. Our theoretical analysis further elucidates how objectives trade places across the continuum, providing a principled foundation for adapting objectives to model capability. Our code is available at https://github.com/GaotangLi/Beyond-Log-Likelihood.