Sumi: Modelo de Lenguaje de Difusión Uniforme Abierto desde Cero

Resumen

Los modelos de difusión se han convertido en una alternativa prometedora a los modelos autoregresivos. Entre ellos, los modelos de lenguaje de difusión uniforme (UDLMs) permiten actualizar cualquier token en cualquier paso, lo que en principio posibilita una generación más flexible. Sin embargo, ningún UDLM ha sido preentrenado desde cero a gran escala tanto en parámetros como en presupuesto de tokens. Tanto el modelado autoregresivo como el modelado de difusión enmascarada ya cuentan con modelos capaces a gran escala que la comunidad puede estudiar y sobre los cuales construir; la difusión uniforme carece de ello. Un UDLM preentrenado desde cero a escala proporcionaría un punto de referencia limpio para estudiar el comportamiento de escalado, las dinámicas de generación, la controlabilidad y las compensaciones frente a modelos autoregresivos y de difusión enmascarada ya establecidos. Con este fin, presentamos Sumi ("tinta" en japonés), un modelo de lenguaje de difusión uniforme de 7B completamente abierto, preentrenado desde cero con 1.5T tokens. Sumi se desempeña de manera competitiva con modelos autoregresivos entrenados con presupuestos de tokens comparables en pruebas de referencia de conocimiento, razonamiento y codificación, aunque muestra un rendimiento inferior en pruebas de referencia de sentido común, donde es probable que nuestra mezcla de datos con énfasis en contenido educativo sea un factor contribuyente. Publicamos los pesos de nuestro modelo, los puntos de control y la receta de entrenamiento completa, incluyendo una especificación detallada de la mezcla de datos sobre corpus disponibles públicamente. Esperamos que esta publicación permita a la comunidad estudiar la difusión uniforme nativa a gran escala y catalice el trabajo en sus aspectos aún poco comprendidos.

English

Diffusion models have become a promising alternative to autoregressive models. Among these, uniform diffusion language models (UDLMs) permit any token to be updated at any step, in principle enabling more flexible generation. However, no UDLM has yet been pretrained from scratch at both large parameter scale and large token budget. Both autoregressive modeling and masked diffusion modeling already have capable models at scale that the community can study and build on; uniform diffusion has none. A scratch-pretrained UDLM at scale would provide a clean reference point for studying scaling behavior, generation dynamics, controllability, and trade-offs against established autoregressive and masked diffusion models. To this end, we introduce Sumi ("ink" in Japanese), a fully open 7B uniform diffusion language model pretrained from scratch on 1.5T tokens. Sumi performs competitively with autoregressive models trained at comparable token budgets on knowledge, reasoning, and coding benchmarks, while under-performing on commonsense benchmarks, where our education-heavy data mixture is a likely contributor. We release our model weights, checkpoints, and full training recipe, including a complete specification of the data mixture over publicly available corpora. We hope this release enables the community to study native uniform diffusion at scale and catalyzes work on its as-yet poorly understood aspects.