Простые и эффективные модели языка с маскированным диффузией
Simple and Effective Masked Diffusion Language Models
June 11, 2024
Авторы: Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov
cs.AI
Аннотация
Хотя модели диффузии отличаются в создании изображений высокого качества, предыдущие исследования сообщают о значительной разнице в производительности между моделями диффузии и авторегрессионными (AR) методами в языковом моделировании. В данной работе мы показываем, что простая маскированная дискретная диффузия более производительна, чем ранее считалось. Мы применяем эффективный рецепт обучения, который улучшает производительность моделей маскированной диффузии и выводим упрощенную, оптимизированную по Рао-Блэкуэллу цель, что приводит к дополнительным улучшениям. Наша цель имеет простую форму - это смесь классических потерь маскированного языкового моделирования - и может быть использована для обучения только кодировщиков языковых моделей, которые допускают эффективные сэмплеры, включая те, которые могут генерировать произвольные длины текста полуавторегрессивно, как традиционная языковая модель. На языковых бенчмарках ряд моделей маскированной диффузии, обученных современными инженерными практиками, достигает нового state-of-the-art среди моделей диффузии и приближается к перплексии AR. Мы выкладываем наш код по ссылке: https://github.com/kuleshov-group/mdlm
English
While diffusion models excel at generating high-quality images, prior work
reports a significant performance gap between diffusion and autoregressive (AR)
methods in language modeling. In this work, we show that simple masked discrete
diffusion is more performant than previously thought. We apply an effective
training recipe that improves the performance of masked diffusion models and
derive a simplified, Rao-Blackwellized objective that results in additional
improvements. Our objective has a simple form -- it is a mixture of classical
masked language modeling losses -- and can be used to train encoder-only
language models that admit efficient samplers, including ones that can generate
arbitrary lengths of text semi-autoregressively like a traditional language
model. On language modeling benchmarks, a range of masked diffusion models
trained with modern engineering practices achieves a new state-of-the-art among
diffusion models, and approaches AR perplexity. We release our code at:
https://github.com/kuleshov-group/mdlm