グラフマシン：エッジを介したより良い事前学習に向けて

要旨

我々はGraph Machine（GM）を導入する。これはO(n)サイズの状態を保持し、スパースで動的なルーティングを通じてその状態にアクセスするアーキテクチャである。固定サイズの状態を持つ手法や、スパースだが静的なルーティングを用いる手法とは異なり、GMはスパース層においてO(n)の計算量を保ちつつ、潜在的にアクセス可能な状態サイズをO(1)に制限しない。代わりに、GMはエッジ——ポインタチェイシングに似た参照機構によって微分可能に更新されるポインタ様オブジェクト——を用いる。我々はQwen3-0.6Bにおける密なTransformer層の75%をGMスパース層に置き換え、15.7Bトークンでスクラッチから事前学習する。各スパース層のKVヘッドごとに4,096トークン中2トークンのみを取得する場合、損失はわずかに悪化するのみであり、4トークンの場合、最良モデルは損失をわずかに改善する。

English

We introduce the Graph Machine (GM), an architecture that maintains an O(n)-sized state and accesses it through sparse, dynamic routing. Unlike methods with fixed-size states or sparse but static routing, GM preserves O(n) complexity in its sparse layers without restricting the potentially accessible state size to O(1). Instead, GM uses edges - pointer-like objects updated differentiably by a referral mechanism resembling pointer chasing. We replace 75% of the dense Transformer layers in Qwen3-0.6B with GM sparse layers and pretrain from scratch on 15.7B tokens. With only 2 of 4,096 tokens retrieved per KV head in each sparse layer, loss degrades only slightly; with 4, the best model marginally improves loss.