Sumi: open uniform diffusie taalmodel vanaf nul

Samenvatting

Diffusiemodellen zijn een veelbelovend alternatief geworden voor autoregressieve modellen. Onder deze modellen maken uniforme diffusie-taalmodelen (UDLM's) het mogelijk om elke token bij elke stap bij te werken, wat in principe meer flexibele generatie mogelijk maakt. Er is echter nog geen UDLM vanaf scratch voorgetraind op zowel grote parameterschaal als groot tokenbudget. Zowel autoregressieve modellering als gemaskeerde diffusiemodellering hebben al capabele modellen op schaal waar de gemeenschap op kan studeren en voortbouwen; uniforme diffusie heeft dat niet. Een vanaf scratch voorgetraind UDLM op schaal zou een schoon referentiepunt bieden voor het bestuderen van schalingsgedrag, generatiedynamiek, beheersbaarheid en afwegingen ten opzichte van gevestigde autoregressieve en gemaskeerde diffusiemodellen. Daartoe introduceren we Sumi ("inkt" in het Japans), een volledig open 7B uniform diffusie-taalmodel dat vanaf scratch is voorgetraind op 1,5T tokens. Sumi presteert concurrerend met autoregressieve modellen die zijn getraind op vergelijkbare tokenbudgetten op benchmarks voor kennis, redeneren en coderen, maar presteert minder op commonsense-benchmarks, waaraan onze datamix met veel educatieve gegevens waarschijnlijk bijdraagt. We geven onze modelgewichten, checkpoints en volledige trainingsrecept vrij, inclusief een volledige specificatie van de datamix over openbare corpora. We hopen dat deze release de gemeenschap in staat stelt om native uniforme diffusie op schaal te bestuderen en werk aan de nog slecht begrepen aspecten ervan te katalyseren.

English

Diffusion models have become a promising alternative to autoregressive models. Among these, uniform diffusion language models (UDLMs) permit any token to be updated at any step, in principle enabling more flexible generation. However, no UDLM has yet been pretrained from scratch at both large parameter scale and large token budget. Both autoregressive modeling and masked diffusion modeling already have capable models at scale that the community can study and build on; uniform diffusion has none. A scratch-pretrained UDLM at scale would provide a clean reference point for studying scaling behavior, generation dynamics, controllability, and trade-offs against established autoregressive and masked diffusion models. To this end, we introduce Sumi ("ink" in Japanese), a fully open 7B uniform diffusion language model pretrained from scratch on 1.5T tokens. Sumi performs competitively with autoregressive models trained at comparable token budgets on knowledge, reasoning, and coding benchmarks, while under-performing on commonsense benchmarks, where our education-heavy data mixture is a likely contributor. We release our model weights, checkpoints, and full training recipe, including a complete specification of the data mixture over publicly available corpora. We hope this release enables the community to study native uniform diffusion at scale and catalyzes work on its as-yet poorly understood aspects.