Verbesserte große Sprachdiffusionsmodelle

Zusammenfassung

Moderne große Sprachmodelle werden überwiegend mit autoregressiver Faktorisierung und kausaler Aufmerksamkeit trainiert. Wir stellen iLLaDA vor, ein von Grund auf trainiertes Masked-Diffusion-Sprachmodell mit 8 Milliarden Parametern und vollständig bidirektionaler Aufmerksamkeit. iLLaDA behält das Masked-Diffusion-Ziel während des gesamten Vorabtrainings und der überwachten Feinabstimmung (SFT) bei, skaliert das Vorabtraining auf 12 Billionen Token und die Feinabstimmung auf einen Anweisungskorpus von 25 Milliarden Token über 12 Epochen. Darüber hinaus nutzen wir die Erzeugung variabler Längen für die Effizienz und führen ein konfidenzbasiertes Scoring für Multiple-Choice-Bewertungen ein. Im Vergleich zu LLaDA verbessert sich iLLaDA breit über allgemeine, mathematische und Code-Benchmarks; zum Beispiel verbessert sich iLLaDA-Base um 21,6 Punkte bei BBH und 14,9 Punkte bei ARC-Challenge, während sich iLLaDA-Instruct um 14,5 Punkte bei MATH und 16,5 Punkte bei HumanEval verbessert. Trotz seines nicht-autoregressiven Trainings bleibt iLLaDA auch auf mehreren Benchmarks wettbewerbsfähig mit Qwen2.5 7B. Diese Ergebnisse zeigen, dass vollständig bidirektionales Diffusionstraining von Grund auf ein wettbewerbsfähiger Weg zu leistungsstarken Sprachmodellen ist. Modellgewichte und Code: https://github.com/ML-GSAI/LLaDA.

English

Modern large language models are predominantly trained with autoregressive factorization and causal attention. We present iLLaDA, an 8B masked diffusion language model trained from scratch with fully bidirectional attention. iLLaDA keeps the masked diffusion objective throughout pre-training and supervised fine-tuning (SFT), scaling pre-training to 12T tokens and fine-tuning on a 25B-token instruction corpus for 12 epochs. We further use variable-length generation for efficiency and introduce confidence-based scoring for multiple-choice evaluation. Compared with LLaDA, iLLaDA improves broadly across general, mathematical, and code benchmarks; for example, iLLaDA-Base improves by 21.6 points on BBH and 14.9 points on ARC-Challenge, while iLLaDA-Instruct improves by 14.5 points on MATH and 16.5 points on HumanEval. Despite its non-autoregressive training, iLLaDA also remains competitive with Qwen2.5 7B on several benchmarks. These results show that fully bidirectional diffusion training from scratch is a competitive path toward strong language models. Model weights and codes: https://github.com/ML-GSAI/LLaDA.