Переворачивая TIDE: Межархитектурное дистилляция для диффузионных больших языковых моделей
Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
April 29, 2026
Авторы: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan
cs.AI
Аннотация
Диффузионные большие языковые модели (dLLM) обеспечивают параллельное декодирование и двунаправленный контекст, однако современные dLLM требуют миллиарды параметров для достижения конкурентоспособной производительности. В то время как существующие методы дистилляции для dLLM сокращают количество шагов вывода в рамках одной архитектуры, ни один из них не решает задачу кросс-архитектурного переноса знаний, при котором учитель и ученик различаются архитектурой, механизмом внимания и токенизатором. Мы представляем TIDE — первую систему кросс-архитектурной дистилляции dLLM, состоящую из трёх модульных компонентов: (1) TIDAL, который совместно модулирует интенсивность дистилляции в зависимости от прогресса обучения и шага диффузии, учитывая зависимую от шума надёжность учителя; (2) CompDemo, обогащающий контекст учителя с помощью комплементарного разделения масок для улучшения предсказаний при сильном маскировании; и (3) Reverse CALM — кросс-токенизаторную цель, инвертирующую согласование правдоподобия на уровне чанков, что обеспечивает ограниченные градиенты и двустороннюю фильтрацию шума. Дистилляция 8B плотной и 16B MoE моделей-учителей в 0.6B модель-ученика по двум гетерогенным конвейерам превосходит базовый уровень в среднем на 1.53 пункта по восьми тестам, демонстрируя значительный прирост в генерации кода, где результаты на HumanEval достигают 48.78 против 32.3 у AR-базиса.
English
Diffusion large language models (dLLMs) offer parallel decoding and bidirectional context, but state-of-the-art dLLMs require billions of parameters for competitive performance. While existing distillation methods for dLLMs reduce inference steps within a single architecture, none address cross-architecture knowledge transfer, in which the teacher and student differ in architecture, attention mechanism, and tokenizer. We present TIDE, the first framework for cross-architecture dLLM distillation, comprising three modular components: (1) TIDAL, which jointly modulates distillation strength across training progress and diffusion timestep to account for the teacher's noise-dependent reliability; (2) CompDemo, which enriches the teacher's context via complementary mask splitting to improve predictions under heavy masking; and (3) Reverse CALM, a cross-tokenizer objective that inverts chunk-level likelihood matching, yielding bounded gradients and dual-end noise filtering. Distilling 8B dense and 16B MoE teachers into a 0.6B student via two heterogeneous pipelines outperforms the baseline by an average of 1.53 points across eight benchmarks, yielding notable gains in code generation, where HumanEval scores reach 48.78 compared to 32.3 for the AR baseline.