Sumi: Modelo de Linguagem de Difusão Uniforme Aberto, Construído do Zero

Resumo

Modelos de difusão tornaram-se uma alternativa promissora aos modelos autorregressivos. Entre estes, os modelos de linguagem de difusão uniforme (UDLMs) permitem que qualquer token seja atualizado a qualquer passo, possibilitando, em princípio, uma geração mais flexível. No entanto, nenhum UDLM foi ainda pré-treinado do zero tanto em grande escala de parâmetros quanto com um grande orçamento de tokens. Tanto a modelagem autorregressiva quanto a modelagem de difusão mascarada já possuem modelos capazes em escala que a comunidade pode estudar e nos quais se basear; a difusão uniforme não possui nenhum. Um UDLM pré-treinado do zero em escala forneceria um ponto de referência limpo para estudar comportamento de escalonamento, dinâmicas de geração, controlabilidade e compromissos em relação aos modelos autorregressivos e de difusão mascarada estabelecidos. Para este fim, apresentamos Sumi ("tinta" em japonês), um modelo de linguagem de difusão uniforme de 7B totalmente aberto, pré-treinado do zero em 1,5T tokens. Sumi tem desempenho competitivo com modelos autorregressivos treinados com orçamentos de tokens comparáveis em benchmarks de conhecimento, raciocínio e codificação, enquanto apresenta desempenho inferior em benchmarks de senso comum, onde nossa mistura de dados com forte viés educacional é um provável fator contribuinte. Disponibilizamos os pesos do nosso modelo, checkpoints e a receita completa de treinamento, incluindo uma especificação completa da mistura de dados sobre corpora publicamente disponíveis. Esperamos que esta disponibilização permita à comunidade estudar a difusão uniforme nativa em escala e catalise o trabalho em seus aspectos ainda mal compreendidos.

English

Diffusion models have become a promising alternative to autoregressive models. Among these, uniform diffusion language models (UDLMs) permit any token to be updated at any step, in principle enabling more flexible generation. However, no UDLM has yet been pretrained from scratch at both large parameter scale and large token budget. Both autoregressive modeling and masked diffusion modeling already have capable models at scale that the community can study and build on; uniform diffusion has none. A scratch-pretrained UDLM at scale would provide a clean reference point for studying scaling behavior, generation dynamics, controllability, and trade-offs against established autoregressive and masked diffusion models. To this end, we introduce Sumi ("ink" in Japanese), a fully open 7B uniform diffusion language model pretrained from scratch on 1.5T tokens. Sumi performs competitively with autoregressive models trained at comparable token budgets on knowledge, reasoning, and coding benchmarks, while under-performing on commonsense benchmarks, where our education-heavy data mixture is a likely contributor. We release our model weights, checkpoints, and full training recipe, including a complete specification of the data mixture over publicly available corpora. We hope this release enables the community to study native uniform diffusion at scale and catalyzes work on its as-yet poorly understood aspects.