Eenvoudige en effectieve gemaskeerde diffusie-taalmodelen
Simple and Effective Masked Diffusion Language Models
June 11, 2024
Auteurs: Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov
cs.AI
Samenvatting
Hoewel diffusiemodellen uitblinken in het genereren van hoogwaardige afbeeldingen, meldt eerder onderzoek een aanzienlijk prestatieverschil tussen diffusie en autoregressieve (AR) methoden bij taalmodelering. In dit werk tonen we aan dat eenvoudige gemaskeerde discrete diffusie performanter is dan eerder werd gedacht. We passen een effectief trainingsrecept toe dat de prestaties van gemaskeerde diffusiemodellen verbetert en leiden een vereenvoudigd, Rao-Blackwellized doel af dat tot aanvullende verbeteringen leidt. Ons doel heeft een eenvoudige vorm – het is een mengsel van klassieke gemaskeerde taalmodelverliezen – en kan worden gebruikt om encoder-only taalmodellen te trainen die efficiënte samplers toelaten, inclusief modellen die willekeurige lengtes tekst semi-autoregressief kunnen genereren zoals een traditioneel taalmodel. Op taalmodeleringsbenchmarks bereikt een reeks gemaskeerde diffusiemodellen die zijn getraind met moderne engineeringpraktijken een nieuwe state-of-the-art onder diffusiemodellen en benadert het AR-perplexiteit. We geven onze code vrij op: https://github.com/kuleshov-group/mdlm
English
While diffusion models excel at generating high-quality images, prior work
reports a significant performance gap between diffusion and autoregressive (AR)
methods in language modeling. In this work, we show that simple masked discrete
diffusion is more performant than previously thought. We apply an effective
training recipe that improves the performance of masked diffusion models and
derive a simplified, Rao-Blackwellized objective that results in additional
improvements. Our objective has a simple form -- it is a mixture of classical
masked language modeling losses -- and can be used to train encoder-only
language models that admit efficient samplers, including ones that can generate
arbitrary lengths of text semi-autoregressively like a traditional language
model. On language modeling benchmarks, a range of masked diffusion models
trained with modern engineering practices achieves a new state-of-the-art among
diffusion models, and approaches AR perplexity. We release our code at:
https://github.com/kuleshov-group/mdlm