Modèles de diffusion de langage à grande échelle améliorés

Résumé

Les grands modèles de langage modernes sont majoritairement entraînés avec une factorisation autorégressive et une attention causale. Nous présentons iLLaDA, un modèle de langage à diffusion masquée de 8B entraîné de zéro avec une attention entièrement bidirectionnelle. iLLaDA conserve l'objectif de diffusion masquée tout au long du pré-entraînement et du réglage fin supervisé (SFT), en étendant le pré-entraînement à 12T tokens et le réglage fin sur un corpus d'instructions de 25B tokens pendant 12 époques. Nous utilisons en outre une génération de longueur variable pour l'efficacité et introduisons un score basé sur la confiance pour l'évaluation à choix multiples. Comparé à LLaDA, iLLaDA s'améliore largement sur les benchmarks généraux, mathématiques et de code ; par exemple, iLLaDA-Base s'améliore de 21,6 points sur BBH et de 14,9 points sur ARC-Challenge, tandis que iLLaDA-Instruct s'améliore de 14,5 points sur MATH et de 16,5 points sur HumanEval. Malgré son entraînement non autorégressif, iLLaDA reste également compétitif avec Qwen2.5 7B sur plusieurs benchmarks. Ces résultats montrent que l'entraînement par diffusion entièrement bidirectionnel à partir de zéro est une voie compétitive vers des modèles de langage puissants. Poids et codes du modèle : https://github.com/ML-GSAI/LLaDA.

English

Modern large language models are predominantly trained with autoregressive factorization and causal attention. We present iLLaDA, an 8B masked diffusion language model trained from scratch with fully bidirectional attention. iLLaDA keeps the masked diffusion objective throughout pre-training and supervised fine-tuning (SFT), scaling pre-training to 12T tokens and fine-tuning on a 25B-token instruction corpus for 12 epochs. We further use variable-length generation for efficiency and introduce confidence-based scoring for multiple-choice evaluation. Compared with LLaDA, iLLaDA improves broadly across general, mathematical, and code benchmarks; for example, iLLaDA-Base improves by 21.6 points on BBH and 14.9 points on ARC-Challenge, while iLLaDA-Instruct improves by 14.5 points on MATH and 16.5 points on HumanEval. Despite its non-autoregressive training, iLLaDA also remains competitive with Qwen2.5 7B on several benchmarks. These results show that fully bidirectional diffusion training from scratch is a competitive path toward strong language models. Model weights and codes: https://github.com/ML-GSAI/LLaDA.