LLaDA 1.5: Ottimizzazione delle Preferenze con Riduzione della Varianza per Modelli di Diffusione di Linguaggio su Grande Scala

LLaDA 1.5: Variance-Reduced Preference Optimization for Large Language Diffusion Models

May 25, 2025

Autori: Fengqi Zhu, Rongzhen Wang, Shen Nie, Xiaolu Zhang, Chunwei Wu, Jun Hu, Jun Zhou, Jianfei Chen, Yankai Lin, Ji-Rong Wen, Chongxuan Li

cs.AI

Abstract

Sebbene i Modelli di Diffusione Mascherata (MDM), come LLaDA, rappresentino un paradigma promettente per la modellazione del linguaggio, sono stati fatti relativamente pochi sforzi per allineare questi modelli alle preferenze umane tramite apprendimento per rinforzo. La sfida principale deriva dall'elevata varianza nelle stime di verosimiglianza basate sull'Evidence Lower Bound (ELBO) necessarie per l'ottimizzazione delle preferenze. Per affrontare questo problema, proponiamo l'Ottimizzazione delle Preferenze con Riduzione della Varianza (VRPO), un framework che analizza formalmente la varianza degli stimatori ELBO e deriva limiti sia sul bias che sulla varianza dei gradienti di ottimizzazione delle preferenze. Basandoci su queste fondamenta teoriche, introduciamo strategie di riduzione della varianza imparziali, tra cui l'allocazione ottimale del budget Monte Carlo e il campionamento antitetico, che migliorano significativamente le prestazioni dell'allineamento degli MDM. Dimostriamo l'efficacia di VRPO applicandolo a LLaDA, e il modello risultante, LLaDA 1.5, supera costantemente e significativamente il suo predecessore basato solo su SFT in ambito matematico (GSM8K +4.7), di programmazione (HumanEval +3.0, MBPP +1.8) e di allineamento (IFEval +4.0, Arena-Hard +4.3). Inoltre, LLaDA 1.5 dimostra una prestazione matematica altamente competitiva rispetto a potenti MDM e ARM linguistici. Pagina del progetto: https://ml-gsai.github.io/LLaDA-1.5-Demo/.

English

While Masked Diffusion Models (MDMs), such as LLaDA, present a promising paradigm for language modeling, there has been relatively little effort in aligning these models with human preferences via reinforcement learning. The challenge primarily arises from the high variance in Evidence Lower Bound (ELBO)-based likelihood estimates required for preference optimization. To address this issue, we propose Variance-Reduced Preference Optimization (VRPO), a framework that formally analyzes the variance of ELBO estimators and derives bounds on both the bias and variance of preference optimization gradients. Building on this theoretical foundation, we introduce unbiased variance reduction strategies, including optimal Monte Carlo budget allocation and antithetic sampling, that significantly improve the performance of MDM alignment. We demonstrate the effectiveness of VRPO by applying it to LLaDA, and the resulting model, LLaDA 1.5, outperforms its SFT-only predecessor consistently and significantly across mathematical (GSM8K +4.7), code (HumanEval +3.0, MBPP +1.8), and alignment benchmarks (IFEval +4.0, Arena-Hard +4.3). Furthermore, LLaDA 1.5 demonstrates a highly competitive mathematical performance compared to strong language MDMs and ARMs. Project page: https://ml-gsai.github.io/LLaDA-1.5-Demo/.