Modelos de Lenguaje de Difusión Multibloque

Resumen

Modelos de Lenguaje de Difusión por Bloques (BD-LMs) mejoran la generación de texto basada en difusión mediante el almacenamiento en caché de KV y la generación de longitud flexible. Un paso natural es extenderlos desde Difusión de un Solo Bloque (SingleBD) a Difusión de Múltiples Bloques (MultiBD), donde un conjunto activo de bloques consecutivos se decodifica concurrentemente para lograr paralelismo entre bloques. Sin embargo, los BD-LM existentes se entrenan principalmente bajo forzamiento del profesor (teacher forcing), donde el modelo observa solo un bloque ruidoso condicionado a un prefijo limpio. Si bien la reciente estrategia de forzamiento de difusión (diffusion forcing) introduce visibilidad entre múltiples bloques ruidosos, sus estados de entrenamiento aún difieren de la inferencia MultiBD, donde la decodificación opera sobre un conjunto activo acotado con patrones de ruido heterogéneos por posición. Para cerrar esta brecha, proponemos los Modelos de Lenguaje de Difusión por Múltiples Bloques (MBD-LMs), obtenidos mediante el post-entrenamiento de BD-LM con Forzamiento del Profesor Multibloque (MultiTF). MultiTF integra el forzamiento del profesor y el forzamiento de difusión entrenando sobre grupos de ruido acotados condicionados a prefijos limpios, con programadores de ruido aleatorizados que se ajustan mejor a los estados de inferencia MultiBD. Para hacer que MultiBD sea prácticamente ejecutable, introducimos además un algoritmo de decodificación optimizado basado en el mecanismo de Búfer de Bloques que preserva la reutilización de caché de prefijos, mantiene estáticas las formas de entrada y traduce un mayor paralelismo de decodificación en aceleración de tiempo real. Empíricamente, MBD-LLaDA2-Mini aumenta el promedio de Tokens por Paso hacia Adelante (TPF) de 3.47 a 6.19 y mejora la precisión promedio de 79.95% a 81.03%; cuando se combina con DMax, MBD-LLaDA2-Mini-DMax alcanza un TPF promedio de 9.34 con una caída de solo 1.02% en precisión en puntos de referencia de matemáticas y código.

English

Block Diffusion Language Models (BD-LMs) improve diffusion-based text generation with KV caching and flexible-length generation. A natural next step is to extend them from Single-Block Diffusion (SingleBD) to Multi-Block Diffusion (MultiBD), where a running-set of consecutive blocks is decoded concurrently for inter-block parallelism. However, existing BD-LMs are mostly trained under teacher forcing, where the model observes only one noisy block conditioned on a clean prefix. While the recent diffusion forcing strategy introduces visibility among multiple noisy blocks, its training states still differ from MultiBD inference, where decoding operates on a bounded running-set with heterogeneous slot-wise noise patterns. To bridge this gap, we propose Multi-Block Diffusion Language Models (MBD-LMs), obtained by post-training BD-LMs with Multi-block Teacher Forcing (MultiTF). MultiTF integrates teacher forcing and diffusion forcing by training on bounded noise-groups conditioned on clean prefixes, with randomized noise-schedulers that better match MultiBD inference states. To make MultiBD practically executable, we further introduce an optimized decoding algorithm based on the Block Buffer mechanism that preserves prefix-cache reuse, keeps input shapes static, and translates increased decoding parallelism into wall-clock acceleration. Empirically, MBD-LLaDA2-Mini increases average Tokens Per Forward pass (TPF) from 3.47 to 6.19 and improves average accuracy from 79.95% to 81.03%; when combined with DMax, MBD-LLaDA2-Mini-DMax reaches an average TPF of 9.34 with only a 1.02% accuracy drop on math and code benchmarks.