Суми: Открытая однородная диффузионная языковая модель с нуля

Аннотация

Диффузионные модели стали перспективной альтернативой авторегрессионным моделям. Среди них универсальные диффузионные языковые модели (UDLM) позволяют обновлять любой токен на любом шаге, что в принципе обеспечивает более гибкую генерацию. Однако ни одна UDLM до сих пор не была предобучена с нуля при большом масштабе параметров и большом токеновом бюджете. Для авторегрессионного моделирования и маскированного диффузионного моделирования уже существуют масштабируемые модели, которые сообщество может изучать и развивать; для универсальной диффузии таких моделей нет. Предобученная с нуля UDLM большого масштаба обеспечила бы чистую точку отсчёта для изучения поведения при масштабировании, динамики генерации, управляемости и компромиссов по сравнению с устоявшимися авторегрессионными и маскированными диффузионными моделями. С этой целью мы представляем Sumi («чернила» по-японски) — полностью открытую универсальную диффузионную языковую модель объёмом 7B параметров, предобученную с нуля на 1,5 трлн токенов. Sumi показывает конкурентоспособные результаты по сравнению с авторегрессионными моделями, обученными на сопоставимых токеновых бюджетах, в тестах на знания, рассуждение и кодирование, но уступает в тестах на здравый смысл, чему, вероятно, способствует наша смесь данных с преобладанием образовательных материалов. Мы публикуем веса модели, контрольные точки и полный рецепт обучения, включая полную спецификацию смеси данных по общедоступным корпусам. Мы надеемся, что этот релиз позволит сообществу изучать «родную» универсальную диффузию в масштабе и будет стимулировать исследования её пока недостаточно понятых аспектов.

English

Diffusion models have become a promising alternative to autoregressive models. Among these, uniform diffusion language models (UDLMs) permit any token to be updated at any step, in principle enabling more flexible generation. However, no UDLM has yet been pretrained from scratch at both large parameter scale and large token budget. Both autoregressive modeling and masked diffusion modeling already have capable models at scale that the community can study and build on; uniform diffusion has none. A scratch-pretrained UDLM at scale would provide a clean reference point for studying scaling behavior, generation dynamics, controllability, and trade-offs against established autoregressive and masked diffusion models. To this end, we introduce Sumi ("ink" in Japanese), a fully open 7B uniform diffusion language model pretrained from scratch on 1.5T tokens. Sumi performs competitively with autoregressive models trained at comparable token budgets on knowledge, reasoning, and coding benchmarks, while under-performing on commonsense benchmarks, where our education-heavy data mixture is a likely contributor. We release our model weights, checkpoints, and full training recipe, including a complete specification of the data mixture over publicly available corpora. We hope this release enables the community to study native uniform diffusion at scale and catalyzes work on its as-yet poorly understood aspects.