LLaDA 1.5: Varianzreduzierte Präferenzoptimierung für große Sprachdiffusionsmodelle

LLaDA 1.5: Variance-Reduced Preference Optimization for Large Language Diffusion Models

May 25, 2025

Autoren: Fengqi Zhu, Rongzhen Wang, Shen Nie, Xiaolu Zhang, Chunwei Wu, Jun Hu, Jun Zhou, Jianfei Chen, Yankai Lin, Ji-Rong Wen, Chongxuan Li

cs.AI

Zusammenfassung

Während Masked Diffusion Models (MDMs) wie LLaDA ein vielversprechendes Paradigma für Sprachmodellierung darstellen, wurde bisher relativ wenig Aufwand in die Ausrichtung dieser Modelle an menschlichen Präferenzen mittels Reinforcement Learning investiert. Die Herausforderung ergibt sich hauptsächlich aus der hohen Varianz in den auf der Evidence Lower Bound (ELBO) basierenden Wahrscheinlichkeitsschätzungen, die für die Präferenzoptimierung erforderlich sind. Um dieses Problem zu lösen, schlagen wir Variance-Reduced Preference Optimization (VRPO) vor, ein Framework, das die Varianz von ELBO-Schätzern formal analysiert und Grenzen für sowohl die Verzerrung als auch die Varianz der Präferenzoptimierungsgradienten ableitet. Auf dieser theoretischen Grundlage aufbauend führen wir unverzerrte Varianzreduktionsstrategien ein, einschließlich optimaler Monte-Carlo-Budgetzuweisung und antithetischer Stichprobenziehung, die die Leistung der MDM-Ausrichtung erheblich verbessern. Wir demonstrieren die Wirksamkeit von VRPO, indem wir es auf LLaDA anwenden, und das resultierende Modell, LLaDA 1.5, übertrifft seinen rein auf Supervised Fine-Tuning (SFT) basierenden Vorgänger konsistent und signifikant in mathematischen (GSM8K +4.7), Code- (HumanEval +3.0, MBPP +1.8) und Ausrichtungs-Benchmarks (IFEval +4.0, Arena-Hard +4.3). Darüber hinaus zeigt LLaDA 1.5 eine äußerst wettbewerbsfähige mathematische Leistung im Vergleich zu starken Sprach-MDMs und ARMs. Projektseite: https://ml-gsai.github.io/LLaDA-1.5-Demo/.

English

While Masked Diffusion Models (MDMs), such as LLaDA, present a promising paradigm for language modeling, there has been relatively little effort in aligning these models with human preferences via reinforcement learning. The challenge primarily arises from the high variance in Evidence Lower Bound (ELBO)-based likelihood estimates required for preference optimization. To address this issue, we propose Variance-Reduced Preference Optimization (VRPO), a framework that formally analyzes the variance of ELBO estimators and derives bounds on both the bias and variance of preference optimization gradients. Building on this theoretical foundation, we introduce unbiased variance reduction strategies, including optimal Monte Carlo budget allocation and antithetic sampling, that significantly improve the performance of MDM alignment. We demonstrate the effectiveness of VRPO by applying it to LLaDA, and the resulting model, LLaDA 1.5, outperforms its SFT-only predecessor consistently and significantly across mathematical (GSM8K +4.7), code (HumanEval +3.0, MBPP +1.8), and alignment benchmarks (IFEval +4.0, Arena-Hard +4.3). Furthermore, LLaDA 1.5 demonstrates a highly competitive mathematical performance compared to strong language MDMs and ARMs. Project page: https://ml-gsai.github.io/LLaDA-1.5-Demo/.