SLIME : Application de Marge Implicite par Stabilisation de la Vraisemblance pour l'Optimisation des Préférences
SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization
February 2, 2026
papers.authors: Maksim Afanasyev, Illarion Iov
cs.AI
papers.abstract
Les méthodes d'optimisation directe des préférences sont apparues comme une alternative efficace au renforcement par apprentissage à partir des retours humains (RLHF) pour l'alignement des grands modèles de langage. Les approches récentes ont rationalisé ce processus en dérivant des fonctions de récompense implicites, mais elles souffrent souvent d'un problème fondamental d'inadéquation des objectifs : optimiser la marge relative entre les réponses choisies et rejetées ne garantit pas la préservation de la vraisemblance absolue des réponses préférées. Ceci peut entraîner un « désapprentissage », où le modèle dégrade la probabilité des sorties de haute qualité pour satisfaire les contraintes de marge, et un « effondrement du formatage » dû à la sur-pénalisation des séquences rejetées. Dans ce travail, nous présentons SLIME (Stabilized Likelihood Implicit Margin Enforcement), un objectif d'alignement sans référence conçu pour découpler l'apprentissage des préférences de la qualité générative. SLIME intègre un objectif triple : (1) un terme d'ancrage pour maximiser la vraisemblance des réponses préférées ; (2) une pénalité stabilisatrice empêchant l'effondrement vers zéro des probabilités des tokens rejetés ; et (3) un mécanisme à double marge combinant des contraintes rigides et souples pour un façonnage précis des frontières. Nos résultats démontrent que SLIME surpasse les méthodes de référence tout en maintenant une stabilité générative supérieure.
English
Direct preference optimization methods have emerged as a computationally efficient alternative to Reinforcement Learning from Human Feedback (RLHF) for aligning Large Language Models (LLMs). Latest approaches have streamlined the alignment process by deriving implicit reward functions, yet they often suffer from a critical objective mismatch: optimizing the relative margin between chosen and rejected responses does not guarantee the preservation of the chosen response's absolute likelihood. This can lead to ``unlearning'', where the model degrades the probability of high-quality outputs to satisfy margin constraints, and ``formatting collapse'' caused by the over-penalization of rejected sequences. In this work, we introduce SLIME (Stabilized Likelihood Implicit Margin Enforcement), a reference-free alignment objective designed to decouple preference learning from generation quality. SLIME incorporates a three-pronged objective: (1) an anchoring term to maximize the likelihood of preferred responses; (2) a stabilizing penalty that prevents the probabilities of rejected tokens from collapsing to zero; and (3) a dual-margin mechanism that combines hard and soft constraints for precise boundary shaping. Our results demonstrate that SLIME achieves superior performance compared to state-of-the-art baselines while maintaining higher generation stability.