SLIME: Стабилизированное применение неявной маржи для оптимизации предпочтений с помощью стабилизированного правдоподобия

SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization

February 2, 2026

Авторы: Maksim Afanasyev, Illarion Iov

cs.AI

Аннотация

Методы прямой оптимизации предпочтений стали вычислительно эффективной альтернативой обучению с подкреплением на основе человеческих откликов (RLHF) для согласования больших языковых моделей (LLM). Современные подходы упростили процесс согласования за счёт выведения неявных функций вознаграждения, однако они часто страдают от фундаментального несоответствия целей: оптимизация относительного отступа между выбранными и отвергнутыми ответами не гарантирует сохранения абсолютной вероятности выбранного ответа. Это может приводить к «разучиванию», когда модель снижает вероятность высококачественных выходных данных для удовлетворения ограничений на отступ, и «коллапсу форматирования», вызванному чрезмерным штрафованием отвергнутых последовательностей. В данной работе мы представляем SLIME (Stabilized Likelihood Implicit Margin Enforcement) — цель согласования без эталонной модели, предназначенную для разделения обучения предпочтениям и качества генерации. SLIME включает трёхкомпонентную цель: (1) якорный член для максимизации правдоподобия предпочтительных ответов; (2) стабилизирующий штраф, предотвращающий схлопывание вероятностей отвергнутых токенов к нулю; и (3) механизм двойного отступа, комбинирующий жёсткие и мягкие ограничения для точного формирования границ. Наши результаты демонстрируют, что SLIME превосходит современные базовые методы по производительности, сохраняя при этом более высокую стабильность генерации.

English

Direct preference optimization methods have emerged as a computationally efficient alternative to Reinforcement Learning from Human Feedback (RLHF) for aligning Large Language Models (LLMs). Latest approaches have streamlined the alignment process by deriving implicit reward functions, yet they often suffer from a critical objective mismatch: optimizing the relative margin between chosen and rejected responses does not guarantee the preservation of the chosen response's absolute likelihood. This can lead to ``unlearning'', where the model degrades the probability of high-quality outputs to satisfy margin constraints, and ``formatting collapse'' caused by the over-penalization of rejected sequences. In this work, we introduce SLIME (Stabilized Likelihood Implicit Margin Enforcement), a reference-free alignment objective designed to decouple preference learning from generation quality. SLIME incorporates a three-pronged objective: (1) an anchoring term to maximize the likelihood of preferred responses; (2) a stabilizing penalty that prevents the probabilities of rejected tokens from collapsing to zero; and (3) a dual-margin mechanism that combines hard and soft constraints for precise boundary shaping. Our results demonstrate that SLIME achieves superior performance compared to state-of-the-art baselines while maintaining higher generation stability.