Difusión Triplet-Block RWKV

Resumen

Los modelos de lenguaje Transformer causales adolecen de una decodificación estrictamente secuencial y un costo de atención cuadrático por paso. Si bien los modelos causales de tiempo lineal y los modelos de difusión discreta abordan cada una de estas debilidades, su integración sigue siendo inherentemente inconsistente: la difusión requiere atención bidireccional, mientras que los modelos causales son unidireccionales. Para unificar estas arquitecturas, proponemos B^3D-RWKV, una variante de RWKV con difusión que integra la eficiencia de inferencia O(L) del modelo con difusión discreta bidireccional paralela mediante un método de disposición de bloques triplete. B^3D-RWKV-7.2B alcanza una precisión comparable en un conjunto de 8 tareas frente a los modelos existentes, al tiempo que supera significativamente a las líneas base en rendimiento de decodificación con una aceleración promedio de 1.6 veces.

English

Causal Transformer language models suffer from strictly sequential decoding and a quadratic per-step attention cost. While linear-time causal models and discrete diffusion models each address these weaknesses, their integration remains inherently inconsistent: diffusion requires bidirectional attention, while causal models are unidirectional. To unify these architectures, we propose B^3D-RWKV, a diffusion RWKV variant that integrates the model's O(L) inference efficiency with parallel, bidirectional discrete-diffusion through a triplet-block layout method. B^3D-RWKV-7.2B reaches comparable accuracy on an 8-task suite versus existing models while significantly outperforming baselines in decoding throughput with an average of 1.6times speedup.