SLIME: Gestabiliseerde Waarschijnlijkheids-Impliciete Margehandhaving voor Preferentie-optimalisatie
SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization
February 2, 2026
Auteurs: Maksim Afanasyev, Illarion Iov
cs.AI
Samenvatting
Direct preference optimalisatiemethoden zijn naar voren gekomen als een computationeel efficiënt alternatief voor Reinforcement Learning from Human Feedback (RLHF) voor het aligneren van grote taalmodellen. Recente benaderingen hebben het aligneringsproces gestroomlijnd door impliciete beloningsfuncties af te leiden, maar ze lijden vaak onder een kritiek doelconflict: het optimaliseren van de relatieve marge tussen gekozen en verworpen antwoorden garandeert niet het behoud van de absolute waarschijnlijkheid van het gekozen antwoord. Dit kan leiden tot "afleren" (*unlearning*), waarbij het model de waarschijnlijkheid van hoogwaardige uitvoer degradeert om aan margebeperkingen te voldoen, en "formaatcollaps" (*formatting collapse*) veroorzaakt door de overmatige bestraffing van verworpen reeksen. In dit werk introduceren we SLIME (Stabilized Likelihood Implicit Margin Enforcement), een referentieloze aligneringsdoelstelling ontworpen om voorkeursleren te ontkoppelen van generatiekwaliteit. SLIME omvat een drieledige doelstelling: (1) een ankerterm om de waarschijnlijkheid van geprefereerde antwoorden te maximaliseren; (2) een stabiliserende strafterm die voorkomt dat de waarschijnlijkheden van verworpen tokens naar nul collapsen; en (3) een duale-marge-mechanisme dat harde en zachte beperkingen combineert voor precieze begrenzingsvorming. Onze resultaten tonen aan dat SLIME superieure prestaties bereikt in vergelijking met state-of-the-art baseline-methoden, terwijl het een hogere generatiestabiliteit handhaaft.
English
Direct preference optimization methods have emerged as a computationally efficient alternative to Reinforcement Learning from Human Feedback (RLHF) for aligning Large Language Models (LLMs). Latest approaches have streamlined the alignment process by deriving implicit reward functions, yet they often suffer from a critical objective mismatch: optimizing the relative margin between chosen and rejected responses does not guarantee the preservation of the chosen response's absolute likelihood. This can lead to ``unlearning'', where the model degrades the probability of high-quality outputs to satisfy margin constraints, and ``formatting collapse'' caused by the over-penalization of rejected sequences. In this work, we introduce SLIME (Stabilized Likelihood Implicit Margin Enforcement), a reference-free alignment objective designed to decouple preference learning from generation quality. SLIME incorporates a three-pronged objective: (1) an anchoring term to maximize the likelihood of preferred responses; (2) a stabilizing penalty that prevents the probabilities of rejected tokens from collapsing to zero; and (3) a dual-margin mechanism that combines hard and soft constraints for precise boundary shaping. Our results demonstrate that SLIME achieves superior performance compared to state-of-the-art baselines while maintaining higher generation stability.