Улучшенные большие языковые диффузионные модели

Аннотация

Современные крупные языковые модели в основном обучаются с использованием авторегрессионной факторизации и каузального внимания. Мы представляем iLLaDA — 8-миллиардную маскированную диффузионную языковую модель, обученную с нуля с полностью двунаправленным вниманием. iLLaDA сохраняет маскированную диффузионную целевую функцию на протяжении предварительного обучения и контролируемой донастройки (SFT), масштабируя предварительное обучение до 12 триллионов токенов и донастройку на наборе инструкций объемом 25 миллиардов токенов в течение 12 эпох. Для повышения эффективности мы используем генерацию с переменной длиной и вводим оценку на основе уверенности для задач с множественным выбором. По сравнению с LLaDA, iLLaDA демонстрирует значительное улучшение по широкому спектру бенчмарков, включая общие, математические и задачи по программированию; например, iLLaDA-Base показывает прирост на 21,6 пункта в BBH и на 14,9 пункта в ARC-Challenge, тогда как iLLaDA-Instruct улучшает результаты на 14,5 пункта в MATH и на 16,5 пункта в HumanEval. Несмотря на неавторегрессионное обучение, iLLaDA также остается конкурентоспособной с Qwen2.5 7B на нескольких бенчмарках. Эти результаты показывают, что полностью двунаправленное диффузионное обучение с нуля является конкурентоспособным путем к созданию сильных языковых моделей. Веса модели и код: https://github.com/ML-GSAI/LLaDA.

English

Modern large language models are predominantly trained with autoregressive factorization and causal attention. We present iLLaDA, an 8B masked diffusion language model trained from scratch with fully bidirectional attention. iLLaDA keeps the masked diffusion objective throughout pre-training and supervised fine-tuning (SFT), scaling pre-training to 12T tokens and fine-tuning on a 25B-token instruction corpus for 12 epochs. We further use variable-length generation for efficiency and introduce confidence-based scoring for multiple-choice evaluation. Compared with LLaDA, iLLaDA improves broadly across general, mathematical, and code benchmarks; for example, iLLaDA-Base improves by 21.6 points on BBH and 14.9 points on ARC-Challenge, while iLLaDA-Instruct improves by 14.5 points on MATH and 16.5 points on HumanEval. Despite its non-autoregressive training, iLLaDA also remains competitive with Qwen2.5 7B on several benchmarks. These results show that fully bidirectional diffusion training from scratch is a competitive path toward strong language models. Model weights and codes: https://github.com/ML-GSAI/LLaDA.