Rivoluzionare le TIDE: Distillazione Inter-Architetturale per Modelli Linguistici di Diffusione su Larga Scala
Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
April 29, 2026
Autori: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan
cs.AI
Abstract
I modelli linguistici di diffusione (dLLM) offrono decodifica parallela e contesto bidirezionale, ma i dLLM all'avanguardia richiedono miliardi di parametri per prestazioni competitive. Sebbene i metodi di distillazione esistenti per dLLM riducano i passi di inferenza all'interno di una singola architettura, nessuno affronta il trasferimento di conoscenza cross-architettura, in cui insegnante e studente differiscono per architettura, meccanismo di attenzione e tokenizer. Presentiamo TIDE, il primo framework per la distillazione cross-architettura di dLLM, composto da tre componenti modulari: (1) TIDAL, che modula congiuntamente l'intensità della distillazione durante l'avanzamento dell'addestramento e il timestep di diffusione per tenere conto dell'affidabilità dipendente dal rumore del teacher; (2) CompDemo, che arricchisce il contesto del teacher tramite suddivisione complementare delle maschere per migliorare le previsioni sotto mascheramento pesante; e (3) Reverse CALM, un obiettivo cross-tokenizer che inverte la corrispondenza di verosimiglianza a livello di chunk, producendo gradienti limitati e filtraggio del rumore dual-end. La distillazione di teacher densi da 8B e MoE da 16B in uno studente da 0.6B tramite due pipeline eterogenee supera la baseline di una media di 1.53 punti su otto benchmark, con guadagni notevoli nella generazione di codice, dove i punteggi HumanEval raggiungono 48.78 rispetto a 32.3 della baseline AR.
English
Diffusion large language models (dLLMs) offer parallel decoding and bidirectional context, but state-of-the-art dLLMs require billions of parameters for competitive performance. While existing distillation methods for dLLMs reduce inference steps within a single architecture, none address cross-architecture knowledge transfer, in which the teacher and student differ in architecture, attention mechanism, and tokenizer. We present TIDE, the first framework for cross-architecture dLLM distillation, comprising three modular components: (1) TIDAL, which jointly modulates distillation strength across training progress and diffusion timestep to account for the teacher's noise-dependent reliability; (2) CompDemo, which enriches the teacher's context via complementary mask splitting to improve predictions under heavy masking; and (3) Reverse CALM, a cross-tokenizer objective that inverts chunk-level likelihood matching, yielding bounded gradients and dual-end noise filtering. Distilling 8B dense and 16B MoE teachers into a 0.6B student via two heterogeneous pipelines outperforms the baseline by an average of 1.53 points across eight benchmarks, yielding notable gains in code generation, where HumanEval scores reach 48.78 compared to 32.3 for the AR baseline.