トリプレットブロック拡散RWKV

要旨

因果Transformer言語モデルは、厳密に逐次的なデコードと、ステップあたり二次のアテンションコストを伴う。線形時間因果モデルと離散拡散モデルはそれぞれこれらの弱点に対処するが、それらの統合は本質的に矛盾をはらむ。拡散は双方向アテンションを必要とする一方、因果モデルは単方向であるからだ。これらのアーキテクチャを統一するため、我々はB^3D-RWKVを提案する。これは、RWKVのO(L)推論効率と、トリプレットブロックレイアウト法による並列双方向離散拡散を統合した拡散RWKV変種である。B^3D-RWKV-7.2Bは、8タスクのスイートにおいて既存モデルと同等の精度を達成しつつ、デコードスループットではベースラインを大幅に上回り、平均1.6倍の高速化を実現する。

English

Causal Transformer language models suffer from strictly sequential decoding and a quadratic per-step attention cost. While linear-time causal models and discrete diffusion models each address these weaknesses, their integration remains inherently inconsistent: diffusion requires bidirectional attention, while causal models are unidirectional. To unify these architectures, we propose B^3D-RWKV, a diffusion RWKV variant that integrates the model's O(L) inference efficiency with parallel, bidirectional discrete-diffusion through a triplet-block layout method. B^3D-RWKV-7.2B reaches comparable accuracy on an 8-task suite versus existing models while significantly outperforming baselines in decoding throughput with an average of 1.6times speedup.