LLaDA 1.5: Otimização de Preferências com Redução de Variância para Modelos de Difusão de Linguagem de Grande Escala

LLaDA 1.5: Variance-Reduced Preference Optimization for Large Language Diffusion Models

May 25, 2025

Autores: Fengqi Zhu, Rongzhen Wang, Shen Nie, Xiaolu Zhang, Chunwei Wu, Jun Hu, Jun Zhou, Jianfei Chen, Yankai Lin, Ji-Rong Wen, Chongxuan Li

cs.AI

Resumo

Embora os Modelos de Difusão Mascarada (MDMs), como o LLaDA, apresentem um paradigma promissor para modelagem de linguagem, tem havido relativamente pouco esforço no alinhamento desses modelos com preferências humanas por meio de aprendizado por reforço. O desafio surge principalmente da alta variância nas estimativas de verossimilhança baseadas no Limite Inferior de Evidência (ELBO) necessárias para a otimização de preferências. Para abordar essa questão, propomos a Otimização de Preferências com Redução de Variância (VRPO), uma estrutura que analisa formalmente a variância dos estimadores ELBO e deriva limites tanto para o viés quanto para a variância dos gradientes de otimização de preferências. Com base nessa fundamentação teórica, introduzimos estratégias de redução de variância não enviesadas, incluindo alocação ótima de orçamento Monte Carlo e amostragem antitética, que melhoram significativamente o desempenho do alinhamento de MDMs. Demonstramos a eficácia do VRPO aplicando-o ao LLaDA, e o modelo resultante, LLaDA 1.5, supera consistentemente e significativamente seu predecessor baseado apenas em SFT em benchmarks matemáticos (GSM8K +4.7), de código (HumanEval +3.0, MBPP +1.8) e de alinhamento (IFEval +4.0, Arena-Hard +4.3). Além disso, o LLaDA 1.5 demonstra um desempenho matemático altamente competitivo em comparação com fortes MDMs e ARMs de linguagem. Página do projeto: https://ml-gsai.github.io/LLaDA-1.5-Demo/.

English

While Masked Diffusion Models (MDMs), such as LLaDA, present a promising paradigm for language modeling, there has been relatively little effort in aligning these models with human preferences via reinforcement learning. The challenge primarily arises from the high variance in Evidence Lower Bound (ELBO)-based likelihood estimates required for preference optimization. To address this issue, we propose Variance-Reduced Preference Optimization (VRPO), a framework that formally analyzes the variance of ELBO estimators and derives bounds on both the bias and variance of preference optimization gradients. Building on this theoretical foundation, we introduce unbiased variance reduction strategies, including optimal Monte Carlo budget allocation and antithetic sampling, that significantly improve the performance of MDM alignment. We demonstrate the effectiveness of VRPO by applying it to LLaDA, and the resulting model, LLaDA 1.5, outperforms its SFT-only predecessor consistently and significantly across mathematical (GSM8K +4.7), code (HumanEval +3.0, MBPP +1.8), and alignment benchmarks (IFEval +4.0, Arena-Hard +4.3). Furthermore, LLaDA 1.5 demonstrates a highly competitive mathematical performance compared to strong language MDMs and ARMs. Project page: https://ml-gsai.github.io/LLaDA-1.5-Demo/.