Multi-Block-Diffusions-Sprachmodelle

Zusammenfassung

Block-Diffusions-Sprachmodelle (BD-LMs) verbessern die diffusionbasierte Texterzeugung durch KV-Caching und Erzeugung mit flexibler Länge. Ein naheliegender nächster Schritt ist ihre Erweiterung von der Einzel-Block-Diffusion (SingleBD) zur Multi-Block-Diffusion (MultiBD), bei der ein gleitender Satz aufeinanderfolgender Blöcke gleichzeitig dekodiert wird, um Inter-Block-Parallelität zu erreichen. Allerdings werden bestehende BD-LMs hauptsächlich unter Teacher Forcing trainiert, bei dem das Modell nur einen verrauschten Block beobachtet, der auf einem sauberen Präfix konditioniert ist. Während die kürzlich eingeführte Diffusion-Forcing-Strategie die Sichtbarkeit zwischen mehreren verrauschten Blöcken ermöglicht, unterscheiden sich ihre Trainingszustände dennoch von der MultiBD-Inferenz, bei der die Dekodierung auf einem begrenzten gleitenden Satz mit heterogenen, slotweisen Rauschmustern erfolgt. Um diese Lücke zu schließen, schlagen wir Multi-Block-Diffusions-Sprachmodelle (MBD-LMs) vor, die durch Nachtraining von BD-LMs mit Multi-Block-Teacher-Forcing (MultiTF) gewonnen werden. MultiTF integriert Teacher Forcing und Diffusion Forcing, indem es auf begrenzten Rauschgruppen trainiert wird, die auf sauberen Präfixen konditioniert sind, mit randomisierten Rauschplanern, die besser zu den MultiBD-Inferenzzuständen passen. Um MultiBD praktisch ausführbar zu machen, führen wir weiterhin einen optimierten Dekodierungsalgorithmus ein, der auf dem Block-Puffer-Mechanismus basiert, der die Wiederverwendung des Präfix-Cache bewahrt, die Eingabeformen statisch hält und die erhöhte Dekodierungsparallelität in Wanduhrzeitbeschleunigung umsetzt. Empirisch gesehen erhöht MBD-LLaDA2-Mini die durchschnittliche Anzahl an Tokens pro Vorwärtspass (TPF) von 3,47 auf 6,19 und verbessert die durchschnittliche Genauigkeit von 79,95 % auf 81,03 %; in Kombination mit DMax erreicht MBD-LLaDA2-Mini-DMax einen durchschnittlichen TPF von 9,34 bei einem Genauigkeitsverlust von nur 1,02 % bei Mathematik- und Code-Benchmarks.

English

Block Diffusion Language Models (BD-LMs) improve diffusion-based text generation with KV caching and flexible-length generation. A natural next step is to extend them from Single-Block Diffusion (SingleBD) to Multi-Block Diffusion (MultiBD), where a running-set of consecutive blocks is decoded concurrently for inter-block parallelism. However, existing BD-LMs are mostly trained under teacher forcing, where the model observes only one noisy block conditioned on a clean prefix. While the recent diffusion forcing strategy introduces visibility among multiple noisy blocks, its training states still differ from MultiBD inference, where decoding operates on a bounded running-set with heterogeneous slot-wise noise patterns. To bridge this gap, we propose Multi-Block Diffusion Language Models (MBD-LMs), obtained by post-training BD-LMs with Multi-block Teacher Forcing (MultiTF). MultiTF integrates teacher forcing and diffusion forcing by training on bounded noise-groups conditioned on clean prefixes, with randomized noise-schedulers that better match MultiBD inference states. To make MultiBD practically executable, we further introduce an optimized decoding algorithm based on the Block Buffer mechanism that preserves prefix-cache reuse, keeps input shapes static, and translates increased decoding parallelism into wall-clock acceleration. Empirically, MBD-LLaDA2-Mini increases average Tokens Per Forward pass (TPF) from 3.47 to 6.19 and improves average accuracy from 79.95% to 81.03%; when combined with DMax, MBD-LLaDA2-Mini-DMax reaches an average TPF of 9.34 with only a 1.02% accuracy drop on math and code benchmarks.