SLIME: Imposição de Margem Implícita com Verossimilhança Estabilizada para Otimização de Preferências
SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization
February 2, 2026
Autores: Maksim Afanasyev, Illarion Iov
cs.AI
Resumo
Os métodos de otimização direta de preferências surgiram como uma alternativa computacionalmente eficiente ao Aprendizado por Reforço com Feedback Humano (RLHF) para alinhar Modelos de Linguagem de Grande Escala (LLMs). As abordagens mais recentes simplificaram o processo de alinhamento através da derivação de funções de recompensa implícitas, mas frequentemente sofrem de um desalinhamento crítico de objetivos: otimizar a margem relativa entre respostas escolhidas e rejeitadas não garante a preservação da probabilidade absoluta da resposta escolhida. Isso pode levar ao "desaprendizado", onde o modelo degrada a probabilidade de saídas de alta qualidade para satisfazer restrições de margem, e ao "colapso de formatação" causado pela superpenalização de sequências rejeitadas. Neste trabalho, introduzimos o SLIME (Estabilização de Probabilidade com Imposição Implícita de Margem), um objetivo de alinhamento sem referência projetado para desacoplar o aprendizado de preferências da qualidade de geração. O SLIME incorpora um objetivo triplo: (1) um termo de ancoragem para maximizar a probabilidade das respostas preferidas; (2) uma penalidade estabilizadora que impede o colapso para zero das probabilidades dos tokens rejeitados; e (3) um mecanismo de margem dupla que combina restrições rígidas e flexíveis para moldagem precisa de fronteiras. Nossos resultados demonstram que o SLIME alcança desempenho superior comparado aos métodos state-of-the-art, mantendo maior estabilidade na geração.
English
Direct preference optimization methods have emerged as a computationally efficient alternative to Reinforcement Learning from Human Feedback (RLHF) for aligning Large Language Models (LLMs). Latest approaches have streamlined the alignment process by deriving implicit reward functions, yet they often suffer from a critical objective mismatch: optimizing the relative margin between chosen and rejected responses does not guarantee the preservation of the chosen response's absolute likelihood. This can lead to ``unlearning'', where the model degrades the probability of high-quality outputs to satisfy margin constraints, and ``formatting collapse'' caused by the over-penalization of rejected sequences. In this work, we introduce SLIME (Stabilized Likelihood Implicit Margin Enforcement), a reference-free alignment objective designed to decouple preference learning from generation quality. SLIME incorporates a three-pronged objective: (1) an anchoring term to maximize the likelihood of preferred responses; (2) a stabilizing penalty that prevents the probabilities of rejected tokens from collapsing to zero; and (3) a dual-margin mechanism that combines hard and soft constraints for precise boundary shaping. Our results demonstrate that SLIME achieves superior performance compared to state-of-the-art baselines while maintaining higher generation stability.