SLIME: 安定化尤度による暗黙的マージン強制を用いた選好最適化

SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization

February 2, 2026

著者: Maksim Afanasyev, Illarion Iov

cs.AI

要旨

大規模言語モデル（LLM）のアライメント手法として、人間フィードバック強化学習（RLHF）に代わる計算効率の高い手法として、直接選好最適化法が登場している。最新のアプローチは暗黙的な報酬関数を導出することでアライメントプロセスを効率化しているが、多くの場合、決定的な目的の不一致に悩まされている。つまり、選択された応答と拒否された応答の間の相対的なマージンを最適化しても、選択された応答の絶対的な尤度が維持される保証はない。これにより、マージン制約を満たすために高品質な出力の確率が低下する「アンラーン（学習忘却）」や、拒否された系列への過度なペナルティによる「フォーマット崩壊」が引き起こされる可能性がある。本研究では、選好学習と生成品質を分離するために設計された参照モデル不要のアライメント目的関数であるSLIME（Stabilized Likelihood Implicit Margin Enforcement）を提案する。SLIMEは三つの要素からなる目的関数を組み込んでいる：（1）好ましい応答の尤度を最大化する固定化項、（2）拒否されたトークンの確率がゼロに崩壊するのを防ぐ安定化ペナルティ、（3）厳格な制約と柔軟な制約を組み合わせて精密な境界形成を行うデュアルマージン機構である。実験結果により、SLIMEは既存の最先端ベースライン手法と比較して優れた性能を発揮しつつ、より高い生成安定性を維持できることを実証する。

English

Direct preference optimization methods have emerged as a computationally efficient alternative to Reinforcement Learning from Human Feedback (RLHF) for aligning Large Language Models (LLMs). Latest approaches have streamlined the alignment process by deriving implicit reward functions, yet they often suffer from a critical objective mismatch: optimizing the relative margin between chosen and rejected responses does not guarantee the preservation of the chosen response's absolute likelihood. This can lead to ``unlearning'', where the model degrades the probability of high-quality outputs to satisfy margin constraints, and ``formatting collapse'' caused by the over-penalization of rejected sequences. In this work, we introduce SLIME (Stabilized Likelihood Implicit Margin Enforcement), a reference-free alignment objective designed to decouple preference learning from generation quality. SLIME incorporates a three-pronged objective: (1) an anchoring term to maximize the likelihood of preferred responses; (2) a stabilizing penalty that prevents the probabilities of rejected tokens from collapsing to zero; and (3) a dual-margin mechanism that combines hard and soft constraints for precise boundary shaping. Our results demonstrate that SLIME achieves superior performance compared to state-of-the-art baselines while maintaining higher generation stability.