LLaDA 1.5 : Optimisation des préférences à variance réduite pour les modèles de langage à grande échelle basés sur la diffusion

LLaDA 1.5: Variance-Reduced Preference Optimization for Large Language Diffusion Models

May 25, 2025

Auteurs: Fengqi Zhu, Rongzhen Wang, Shen Nie, Xiaolu Zhang, Chunwei Wu, Jun Hu, Jun Zhou, Jianfei Chen, Yankai Lin, Ji-Rong Wen, Chongxuan Li

cs.AI

Résumé

Bien que les modèles de diffusion masquée (MDM), tels que LLaDA, représentent un paradigme prometteur pour la modélisation du langage, relativement peu d'efforts ont été consacrés à l'alignement de ces modèles avec les préférences humaines via l'apprentissage par renforcement. Le défi provient principalement de la forte variance des estimations de vraisemblance basées sur la borne inférieure de l'évidence (ELBO) nécessaires pour l'optimisation des préférences. Pour résoudre ce problème, nous proposons l'Optimisation des Préférences à Variance Réduite (VRPO), un cadre qui analyse formellement la variance des estimateurs ELBO et établit des bornes sur le biais et la variance des gradients d'optimisation des préférences. Sur la base de ces fondements théoriques, nous introduisons des stratégies de réduction de variance non biaisées, incluant l'allocation optimale du budget Monte Carlo et l'échantillonnage antitétique, qui améliorent significativement les performances de l'alignement des MDM. Nous démontrons l'efficacité de VRPO en l'appliquant à LLaDA, et le modèle résultant, LLaDA 1.5, surpasse systématiquement et significativement son prédécesseur basé uniquement sur l'apprentissage supervisé (SFT) sur des benchmarks mathématiques (GSM8K +4.7), de code (HumanEval +3.0, MBPP +1.8) et d'alignement (IFEval +4.0, Arena-Hard +4.3). De plus, LLaDA 1.5 démontre une performance mathématique très compétitive par rapport aux MDM et ARM linguistiques puissants. Page du projet : https://ml-gsai.github.io/LLaDA-1.5-Demo/.

English

While Masked Diffusion Models (MDMs), such as LLaDA, present a promising paradigm for language modeling, there has been relatively little effort in aligning these models with human preferences via reinforcement learning. The challenge primarily arises from the high variance in Evidence Lower Bound (ELBO)-based likelihood estimates required for preference optimization. To address this issue, we propose Variance-Reduced Preference Optimization (VRPO), a framework that formally analyzes the variance of ELBO estimators and derives bounds on both the bias and variance of preference optimization gradients. Building on this theoretical foundation, we introduce unbiased variance reduction strategies, including optimal Monte Carlo budget allocation and antithetic sampling, that significantly improve the performance of MDM alignment. We demonstrate the effectiveness of VRPO by applying it to LLaDA, and the resulting model, LLaDA 1.5, outperforms its SFT-only predecessor consistently and significantly across mathematical (GSM8K +4.7), code (HumanEval +3.0, MBPP +1.8), and alignment benchmarks (IFEval +4.0, Arena-Hard +4.3). Furthermore, LLaDA 1.5 demonstrates a highly competitive mathematical performance compared to strong language MDMs and ARMs. Project page: https://ml-gsai.github.io/LLaDA-1.5-Demo/.