Modelos de difusión de lenguaje a gran escala mejorados

Resumen

Los modelos modernos de lenguaje a gran escala se entrenan predominantemente con factorización autorregresiva y atención causal. Presentamos iLLaDA, un modelo de lenguaje de difusión enmascarada de 8 mil millones de parámetros entrenado desde cero con atención completamente bidireccional. iLLaDA mantiene el objetivo de difusión enmascarada durante todo el preentrenamiento y el ajuste fino supervisado (AFS), escalando el preentrenamiento a 12 billones de tokens y el ajuste fino en un corpus de instrucciones de 25 mil millones de tokens durante 12 épocas. Además, utilizamos generación de longitud variable para eficiencia e introducimos una puntuación basada en confianza para la evaluación de opción múltiple. En comparación con LLaDA, iLLaDA mejora ampliamente en puntos de referencia generales, matemáticos y de código; por ejemplo, iLLaDA-Base mejora en 21.6 puntos en BBH y 14.9 puntos en ARC-Challenge, mientras que iLLaDA-Instruct mejora en 14.5 puntos en MATH y 16.5 puntos en HumanEval. A pesar de su entrenamiento no autorregresivo, iLLaDA también se mantiene competitivo con Qwen2.5 7B en varios puntos de referencia. Estos resultados muestran que el entrenamiento de difusión completamente bidireccional desde cero es un camino competitivo hacia modelos de lenguaje robustos. Pesos y códigos del modelo: https://github.com/ML-GSAI/LLaDA.

English

Modern large language models are predominantly trained with autoregressive factorization and causal attention. We present iLLaDA, an 8B masked diffusion language model trained from scratch with fully bidirectional attention. iLLaDA keeps the masked diffusion objective throughout pre-training and supervised fine-tuning (SFT), scaling pre-training to 12T tokens and fine-tuning on a 25B-token instruction corpus for 12 epochs. We further use variable-length generation for efficiency and introduce confidence-based scoring for multiple-choice evaluation. Compared with LLaDA, iLLaDA improves broadly across general, mathematical, and code benchmarks; for example, iLLaDA-Base improves by 21.6 points on BBH and 14.9 points on ARC-Challenge, while iLLaDA-Instruct improves by 14.5 points on MATH and 16.5 points on HumanEval. Despite its non-autoregressive training, iLLaDA also remains competitive with Qwen2.5 7B on several benchmarks. These results show that fully bidirectional diffusion training from scratch is a competitive path toward strong language models. Model weights and codes: https://github.com/ML-GSAI/LLaDA.