SLIME: Stabilisierte Likelihood Implizite Margin-Durchsetzung für Präferenzoptimierung

SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization

February 2, 2026

papers.authors: Maksim Afanasyev, Illarion Iov

cs.AI

papers.abstract

Methoden zur direkten Präferenzoptimierung haben sich als recheneffiziente Alternative zu Reinforcement Learning from Human Feedback (RLHF) für die Ausrichtung von Large Language Models (LLMs) etabliert. Neuere Ansätze haben den Ausrichtungsprozess durch die Ableitung impliziter Belohnungsfunktionen optimiert, leiden jedoch häufig unter einem kritischen Zielkonflikt: Die Optimierung der relativen Marge zwischen gewählten und abgelehnten Antworten gewährleistet nicht die Erhaltung der absoluten Wahrscheinlichkeit der gewählten Antwort. Dies kann zu „Verlernen“ führen, bei dem das Modell die Wahrscheinlichkeit hochwertiger Ausgaben verschlechtert, um Margenanforderungen zu erfüllen, sowie zu einem „Formatierungszusammenbruch“, verursacht durch die Überbestrafung abgelehnter Sequenzen. In dieser Arbeit stellen wir SLIME (Stabilized Likelihood Implicit Margin Enforcement) vor, ein referenzfreies Ausrichtungsziel, das entwickelt wurde, um Präferenzlernen von der Generierungsqualität zu entkoppeln. SLIME umfasst einen dreigliedrigen Ansatz: (1) einen Verankerungsterm zur Maximierung der Wahrscheinlichkeit bevorzugter Antworten; (2) eine stabilisierende Straffunktion, die verhindert, dass die Wahrscheinlichkeiten abgelehnter Tokens auf null kollabieren; und (3) einen Dual-Margin-Mechanismus, der harte und weiche Einschränkungen für eine präzise Grenzformung kombiniert. Unsere Ergebnisse zeigen, dass SLIME im Vergleich zu modernen Baseline-Methoden eine überlegene Leistung erzielt und dabei eine höhere Generierungsstabilität beibehält.

English

Direct preference optimization methods have emerged as a computationally efficient alternative to Reinforcement Learning from Human Feedback (RLHF) for aligning Large Language Models (LLMs). Latest approaches have streamlined the alignment process by deriving implicit reward functions, yet they often suffer from a critical objective mismatch: optimizing the relative margin between chosen and rejected responses does not guarantee the preservation of the chosen response's absolute likelihood. This can lead to ``unlearning'', where the model degrades the probability of high-quality outputs to satisfy margin constraints, and ``formatting collapse'' caused by the over-penalization of rejected sequences. In this work, we introduce SLIME (Stabilized Likelihood Implicit Margin Enforcement), a reference-free alignment objective designed to decouple preference learning from generation quality. SLIME incorporates a three-pronged objective: (1) an anchoring term to maximize the likelihood of preferred responses; (2) a stabilizing penalty that prevents the probabilities of rejected tokens from collapsing to zero; and (3) a dual-margin mechanism that combines hard and soft constraints for precise boundary shaping. Our results demonstrate that SLIME achieves superior performance compared to state-of-the-art baselines while maintaining higher generation stability.