LLaDA 1.5: Оптимизация предпочтений с уменьшением дисперсии для крупномасштабных языковых диффузионных моделей
LLaDA 1.5: Variance-Reduced Preference Optimization for Large Language Diffusion Models
May 25, 2025
Авторы: Fengqi Zhu, Rongzhen Wang, Shen Nie, Xiaolu Zhang, Chunwei Wu, Jun Hu, Jun Zhou, Jianfei Chen, Yankai Lin, Ji-Rong Wen, Chongxuan Li
cs.AI
Аннотация
Хотя маскированные диффузионные модели (MDMs), такие как LLaDA, представляют собой многообещающую парадигму для языкового моделирования, было приложено относительно мало усилий для согласования этих моделей с человеческими предпочтениями с помощью обучения с подкреплением. Основная сложность заключается в высокой дисперсии оценок правдоподобия, основанных на Evidence Lower Bound (ELBO), которые необходимы для оптимизации предпочтений. Для решения этой проблемы мы предлагаем метод Variance-Reduced Preference Optimization (VRPO) — фреймворк, который формально анализирует дисперсию оценок ELBO и выводит границы как для смещения, так и для дисперсии градиентов оптимизации предпочтений. Опираясь на эту теоретическую основу, мы вводим несмещенные стратегии снижения дисперсии, включая оптимальное распределение бюджета Монте-Карло и антитетический сэмплинг, которые значительно улучшают производительность согласования MDM. Мы демонстрируем эффективность VRPO, применяя его к LLaDA, и полученная модель, LLaDA 1.5, стабильно и значительно превосходит своего предшественника, обученного только с помощью SFT, на математических (GSM8K +4.7), кодовых (HumanEval +3.0, MBPP +1.8) и бенчмарках согласования (IFEval +4.0, Arena-Hard +4.3). Более того, LLaDA 1.5 демонстрирует высококонкурентную математическую производительность по сравнению с сильными языковыми MDM и ARM. Страница проекта: https://ml-gsai.github.io/LLaDA-1.5-Demo/.
English
While Masked Diffusion Models (MDMs), such as LLaDA, present a promising
paradigm for language modeling, there has been relatively little effort in
aligning these models with human preferences via reinforcement learning. The
challenge primarily arises from the high variance in Evidence Lower Bound
(ELBO)-based likelihood estimates required for preference optimization. To
address this issue, we propose Variance-Reduced Preference Optimization (VRPO),
a framework that formally analyzes the variance of ELBO estimators and derives
bounds on both the bias and variance of preference optimization gradients.
Building on this theoretical foundation, we introduce unbiased variance
reduction strategies, including optimal Monte Carlo budget allocation and
antithetic sampling, that significantly improve the performance of MDM
alignment. We demonstrate the effectiveness of VRPO by applying it to LLaDA,
and the resulting model, LLaDA 1.5, outperforms its SFT-only predecessor
consistently and significantly across mathematical (GSM8K +4.7), code
(HumanEval +3.0, MBPP +1.8), and alignment benchmarks (IFEval +4.0, Arena-Hard
+4.3). Furthermore, LLaDA 1.5 demonstrates a highly competitive mathematical
performance compared to strong language MDMs and ARMs. Project page:
https://ml-gsai.github.io/LLaDA-1.5-Demo/.Summary
AI-Generated Summary