Triplet-Block-Diffusion-RWKV

Zusammenfassung

Kausale Transformer-Sprachmodelle leiden unter streng sequentiellem Decoding und quadratischen Aufmerksamkeitskosten pro Schritt. Während lineare zeitkausale Modelle und diskrete Diffusionsmodelle jeweils diese Schwächen adressieren, bleibt ihre Integration von Natur aus inkonsistent: Diffusion erfordert bidirektionale Aufmerksamkeit, während kausale Modelle unidirektional sind. Um diese Architekturen zu vereinheitlichen, schlagen wir B^3D-RWKV vor, eine Diffusions-RWKV-Variante, die die O(L)-Inferenzeffizienz des Modells mit paralleler, bidirektionaler diskreter Diffusion durch eine Triplet-Block-Layout-Methode integriert. B^3D-RWKV-7.2B erreicht vergleichbare Genauigkeit auf einer 8-Aufgaben-Suite im Vergleich zu bestehenden Modellen und übertrifft Basislinien im Decoding-Durchsatz mit einer durchschnittlichen 1,6-fachen Beschleunigung deutlich.

English

Causal Transformer language models suffer from strictly sequential decoding and a quadratic per-step attention cost. While linear-time causal models and discrete diffusion models each address these weaknesses, their integration remains inherently inconsistent: diffusion requires bidirectional attention, while causal models are unidirectional. To unify these architectures, we propose B^3D-RWKV, a diffusion RWKV variant that integrates the model's O(L) inference efficiency with parallel, bidirectional discrete-diffusion through a triplet-block layout method. B^3D-RWKV-7.2B reaches comparable accuracy on an 8-task suite versus existing models while significantly outperforming baselines in decoding throughput with an average of 1.6times speedup.