Qwen3.8-Nextアーキテクチャの設計について：評価、効率性、およびトレーニング安定性

要旨

本稿では、Qwen3.8-Flash-Nextのアーキテクチャとアブレーションについて述べる。本モデルはスパース混合エキスパートモデルであり、1,250億パラメータを有し、トークンあたり60億パラメータを活性化する。さらに、アクセラレータ外部に保持される510億パラメータのn-gram埋め込みテーブルを追加で持つ。14の事前学習ベンチマークのうち、本モデルは8つで従来モデルである397B-A17Bを上回り、残りでは最大2.6ポイントの差で下回る。その際、従来モデルと比較して、活性化パラメータは3分の1、学習トークン数は3分の1、学習FLOPsはおよそ9分の1である。トークン混合は、Gated DeltaNet (GDN) とグローバルアテンションの層ごとのハイブリッドを用いており、4層ごとに1つのフルアテンション層を配置する。継続事前学習時には、これらのフルアテンション層はQwen Sparse Attention (QSA) に置き換えられる。QSAは、圧縮された軽量なインデクサを用いてマイクロブロック単位で文脈をスコアリングする。残差ストリームは4つの分岐に拡張され、要素単位のゲートを介して読み出される。この設計をGated Residual (GR) と呼ぶ。容量は、バックボーンの外部に、ホストメモリからテーブルをプリフェッチする単一のn-gram埋め込み層によって追加される。我々は、すべての変更候補を3つの軸で評価する。すなわち、損失と下流ベンチマーク、学習・プリフィル・デコードにおける変更のコスト、および最適なハイパーパラメータと学習安定性への影響である。損失と下流精度は必ずしも連動しない。n-gram語彙を拡大すると損失は単調に低下するが、下流精度は飽和する。アーキテクチャとMuonオプティマイザを組み合わせることで、最適な学習率とバッチサイズは上方にシフトし、バッチサイズのウォームアップは不要となり、ストレステスト下での安定性が大幅に向上する。損失、ベンチマーク、効率、安定性は一つの設計問題を構成する。これらを統合的に解決することで、より効率的で、より高性能で、より安定したレシピが得られる。

English

We describe the architecture and ablations of Qwen3.8-Flash-Next, a sparse mixture-of-experts model with 125B parameters, 6B activated per token, and additional 51B parameters of n-gram embedding tables held off the accelerator. On fourteen pre-training benchmarks the model leads the 397B-A17B predecessor on eight and trails it on the rest by at most 2.6 points, at 1/3 the activated parameters, 1/3 the training tokens, and roughly 1/9 the training FLOPs. Token mixing uses a layer-wise hybrid of Gated DeltaNet (GDN) and global attention, with one full-attention layer in every four; at continued-pretraining time those full-attention layers are replaced by Qwen Sparse Attention (QSA), which scores context at micro-block granularity with a compressed lightweight indexer. The residual stream is widened to four branches and read through an elementwise gate, a design we call the Gated Residual (GR). Capacity is added outside the backbone by a single n-gram embedding layer whose tables are prefetched from host memory. We evaluate every candidate change along three axes: loss together with downstream benchmarks; the cost of the change in training, prefill and decode; and its effect on the optimal hyperparameters and training stability. Loss and downstream accuracy do not always move together: enlarging the n-gram vocabulary lowers loss monotonically while downstream accuracy saturates. The architecture and the Muon optimizer together shift the optimal learning rate and batch size upwards, render batch-size warmup unnecessary, and substantially improve stability under stress tests. Loss, benchmarks, efficiency and stability form one design problem. Solved jointly, they yield a recipe that is simultaneously more efficient, more capable and more stable.