Transformando a Maré: Distilação Transarquitetural para Modelos de Linguagem Grande Baseados em Difusão
Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
April 29, 2026
Autores: Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan
cs.AI
Resumo
Os modelos de linguagem de grande porte por difusão (dLLMs) oferecem decodificação paralela e contexto bidirecional, mas os dLLMs de última geração requerem bilhões de parâmetros para um desempenho competitivo. Embora os métodos de destilação existentes para dLLMs reduzam as etapas de inferência dentro de uma única arquitetura, nenhum aborda a transferência de conhecimento entre arquiteturas, na qual o professor e o aluno diferem em arquitetura, mecanismo de atenção e tokenizador. Apresentamos o TIDE, o primeiro framework para destilação de dLLM entre arquiteturas, composto por três componentes modulares: (1) o TIDAL, que modula conjuntamente a força da destilação ao longo do progresso do treinamento e do passo de difusão para contabilizar a confiabilidade dependente de ruído do professor; (2) o CompDemo, que enriquece o contexto do professor via divisão por máscaras complementares para melhorar as previsões sob mascaramento pesado; e (3) o Reverse CALM, um objetivo cross-tokenizer que inverte o pareamento de verossimilhança a nível de blocos (chunk-level), resultando em gradientes limitados e filtragem de ruído de dupla extremidade. A destilação de professores densos de 8B e MoE de 16B em um aluno de 0.6B por meio de dois pipelines heterogêneos supera a linha de base em uma média de 1,53 pontos em oito benchmarks, resultando em ganhos notáveis na geração de código, onde as pontuações no HumanEval chegam a 48,78 em comparação com 32,3 da linha de base AR.
English
Diffusion large language models (dLLMs) offer parallel decoding and bidirectional context, but state-of-the-art dLLMs require billions of parameters for competitive performance. While existing distillation methods for dLLMs reduce inference steps within a single architecture, none address cross-architecture knowledge transfer, in which the teacher and student differ in architecture, attention mechanism, and tokenizer. We present TIDE, the first framework for cross-architecture dLLM distillation, comprising three modular components: (1) TIDAL, which jointly modulates distillation strength across training progress and diffusion timestep to account for the teacher's noise-dependent reliability; (2) CompDemo, which enriches the teacher's context via complementary mask splitting to improve predictions under heavy masking; and (3) Reverse CALM, a cross-tokenizer objective that inverts chunk-level likelihood matching, yielding bounded gradients and dual-end noise filtering. Distilling 8B dense and 16B MoE teachers into a 0.6B student via two heterogeneous pipelines outperforms the baseline by an average of 1.53 points across eight benchmarks, yielding notable gains in code generation, where HumanEval scores reach 48.78 compared to 32.3 for the AR baseline.