LLaDA 1.5: Variantiegerichte voorkeursoptimalisatie voor grote taalverspreidingsmodellen

LLaDA 1.5: Variance-Reduced Preference Optimization for Large Language Diffusion Models

May 25, 2025

Auteurs: Fengqi Zhu, Rongzhen Wang, Shen Nie, Xiaolu Zhang, Chunwei Wu, Jun Hu, Jun Zhou, Jianfei Chen, Yankai Lin, Ji-Rong Wen, Chongxuan Li

cs.AI

Samenvatting

Hoewel Masked Diffusion Models (MDM's), zoals LLaDA, een veelbelovend paradigma vormen voor taalmodellering, is er relatief weinig inspanning geleverd om deze modellen af te stemmen op menselijke voorkeuren via reinforcement learning. De uitdaging ontstaat voornamelijk door de hoge variantie in Evidence Lower Bound (ELBO)-gebaseerde waarschijnlijkheidsschattingen die nodig zijn voor voorkeursoptimalisatie. Om dit probleem aan te pakken, stellen we Variance-Reduced Preference Optimization (VRPO) voor, een raamwerk dat de variantie van ELBO-schatters formeel analyseert en grenzen afleidt voor zowel de bias als de variantie van voorkeursoptimalisatiegradiënten. Op basis van dit theoretische fundament introduceren we onbevooroordeelde variantiereductiestrategieën, waaronder optimale Monte Carlo-budgettoewijzing en antithetische steekproefname, die de prestaties van MDM-afstemming aanzienlijk verbeteren. We demonstreren de effectiviteit van VRPO door het toe te passen op LLaDA, en het resulterende model, LLaDA 1.5, overtreft zijn SFT-only voorganger consistent en significant op wiskundige (GSM8K +4.7), code (HumanEval +3.0, MBPP +1.8) en afstemmingsbenchmarks (IFEval +4.0, Arena-Hard +4.3). Bovendien toont LLaDA 1.5 een zeer competitieve wiskundige prestaties in vergelijking met sterke taal-MDM's en ARM's. Projectpagina: https://ml-gsai.github.io/LLaDA-1.5-Demo/.

English

While Masked Diffusion Models (MDMs), such as LLaDA, present a promising paradigm for language modeling, there has been relatively little effort in aligning these models with human preferences via reinforcement learning. The challenge primarily arises from the high variance in Evidence Lower Bound (ELBO)-based likelihood estimates required for preference optimization. To address this issue, we propose Variance-Reduced Preference Optimization (VRPO), a framework that formally analyzes the variance of ELBO estimators and derives bounds on both the bias and variance of preference optimization gradients. Building on this theoretical foundation, we introduce unbiased variance reduction strategies, including optimal Monte Carlo budget allocation and antithetic sampling, that significantly improve the performance of MDM alignment. We demonstrate the effectiveness of VRPO by applying it to LLaDA, and the resulting model, LLaDA 1.5, outperforms its SFT-only predecessor consistently and significantly across mathematical (GSM8K +4.7), code (HumanEval +3.0, MBPP +1.8), and alignment benchmarks (IFEval +4.0, Arena-Hard +4.3). Furthermore, LLaDA 1.5 demonstrates a highly competitive mathematical performance compared to strong language MDMs and ARMs. Project page: https://ml-gsai.github.io/LLaDA-1.5-Demo/.