Die Wende einleiten: Architekturübergreifende Destillation für Diffusionsgroßsprachmodelle
Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
April 29, 2026
Autoren: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan
cs.AI
Zusammenfassung
Diffusionsgroße Sprachmodelle (dLLMs) bieten parallele Dekodierung und bidirektionalen Kontext, jedoch benötigen state-of-the-art dLLMs Milliarden von Parametern für wettbewerbsfähige Leistung. Während bestehende Distillationsmethoden für dLLMs Inferenzschritte innerhalb einer einzelnen Architektur reduzieren, adressiert keine davon architekturübergreifenden Wissenstransfer, bei dem sich Lehrer- und Schüler-Modell in Architektur, Aufmerksamkeitsmechanismus und Tokenizer unterscheiden. Wir präsentieren TIDE, das erste Framework für architekturübergreifende dLLM-Distillation, bestehend aus drei modularen Komponenten: (1) TIDAL, das gemeinsam die Distillationsstärke über den Trainingsfortschritt und den Diffusionstimestep moduliert, um die rauschabhängige Zuverlässigkeit des Lehrers zu berücksichtigen; (2) CompDemo, das den Kontext des Lehrers durch komplementäre Maskenaufteilung anreichert, um Vorhersagen bei starker Maskierung zu verbessern; und (3) Reverse CALM, ein tokenizerübergreifendes Ziel, das chunk-basiertes Likelihood-Matching invertiert und dadurch begrenzte Gradienten sowie duale Rauschfilterung erzeugt. Die Distillation von 8B-Dense- und 16B-MoE-Lehrern in einen 0.6B-Schüler über zwei heterogene Pipelines übertrifft die Baseline im Durchschnitt um 1,53 Punkte über acht Benchmarks hinweg, mit bemerkenswerten Gewinnen in der Codegenerierung, wo HumanEval-Scores 48,78 erreichen im Vergleich zu 32,3 für die AR-Baseline.
English
Diffusion large language models (dLLMs) offer parallel decoding and bidirectional context, but state-of-the-art dLLMs require billions of parameters for competitive performance. While existing distillation methods for dLLMs reduce inference steps within a single architecture, none address cross-architecture knowledge transfer, in which the teacher and student differ in architecture, attention mechanism, and tokenizer. We present TIDE, the first framework for cross-architecture dLLM distillation, comprising three modular components: (1) TIDAL, which jointly modulates distillation strength across training progress and diffusion timestep to account for the teacher's noise-dependent reliability; (2) CompDemo, which enriches the teacher's context via complementary mask splitting to improve predictions under heavy masking; and (3) Reverse CALM, a cross-tokenizer objective that inverts chunk-level likelihood matching, yielding bounded gradients and dual-end noise filtering. Distilling 8B dense and 16B MoE teachers into a 0.6B student via two heterogeneous pipelines outperforms the baseline by an average of 1.53 points across eight benchmarks, yielding notable gains in code generation, where HumanEval scores reach 48.78 compared to 32.3 for the AR baseline.