xHC: 拡張ハイパー接続

要旨

Hyper-Connections（HC）は、Transformerの残差ストリームをN本の並列ストリームに拡張し、モデルの幅や深さを超えたメモリスケーリングの形態を提供する。多様体制約付きHC（mHC）は、この定式化を大規模でも安定させる。N=1からN=4への大きな性能向上は、残差ストリームの拡張が有望なスケーリング軸であることを示唆している。しかし、既存のHCファミリーの手法は通常、N=4で止まる。本実験ではその理由を明らかにする。すなわち、これを超えてmHCをスケーリングすると、性能向上は減少し、学習コストは急速に増加する。この限界は、二つのボトルネックに起因する。一つは、拡大するストリーム数に対する書き戻し情報の不足であり、もう一つは、コストがNの三乗で増加する残差混合の生成である。これらのボトルネックに対処するため、我々はxHC（Expanded Hyper-Connections）を提案する。これは、N=4を超える有意義な拡張を初めて実現するHCファミリーの手法である。xHCは、よりリッチな書き戻しを実現する時間的特徴拡張と、N=16のストリームのうちk=4のみを更新しつつ、完全な残差状態への密なアクセスを保持するスパース残差ストリームアーキテクチャを組み合わせる。18Bおよび28BのMoEモデルにおいて、xHCは強力で一貫した下流タスクの改善をもたらす。18B MoEモデルでは、xHCはmHCと比較して平均下流スコアを4.0ポイント向上させ、バニラベースラインに対する訓練FLOPsの増加はわずかである。スケーリング則実験では、同じ損失に達するためにバニラとmHCはそれぞれxHCの1.50倍および1.19倍の計算量を必要とする。実用的な大規模N訓練では、拡張された残差状態からのメモリトラフィックの制御も必要である。そこで我々はxHC-Flashを導入する。これは、サブレイヤあたりのメモリトラフィックを73.5Cから40Cに削減し、N=4のmHCが必要とする34Cと同等にしつつ、完全なxHCの利点を維持する。xHCとxHC-Flashは、大規模Nの残差ストリーム拡張をLLM事前学習において効果的かつ実用的にする。

English

Hyper-Connections (HC) expand the residual stream of Transformers into N parallel streams, providing a form of memory scaling beyond model width and depth. Manifold-Constrained HC (mHC) stabilizes this formulation at scale. The large gains from N{=}1 to N{=}4 suggest residual-stream expansion as a promising scaling axis. However, existing HC-family methods typically stop at N{=}4. Our experiments reveal why: scaling mHC beyond this point yields diminishing performance gains and rapidly increasing training cost. We attribute this limitation to two bottlenecks: insufficient write-back information for an expanding number of streams and residual-mixing generation whose cost scales cubically with N. To address both bottlenecks, we propose xHC (Expanded Hyper-Connections), the first HC-family method to achieve meaningful expansion beyond N{=}4. xHC combines temporal feature augmentation for richer write-back with a sparse residual-stream architecture that updates only k=4 of the N=16 streams while retaining dense access to the full residual state. Across 18B and 28B MoE models, xHC delivers strong and consistent downstream improvements. On an 18B MoE model, xHC improves the average downstream score by 4.0 points over mHC, while adding only modest training FLOPs over the vanilla baseline. Scaling-law experiments show that the vanilla and mHC require 1.50times and 1.19times the compute of xHC, respectively, to reach the same loss. Practical large-N training also requires controlling memory traffic from the expanded residual state. We therefore introduce xHC-Flash, which reduces the per-sublayer memory traffic from 73.5C to 40C, comparable to the 34C required by mHC at N{=}4, while retaining the gains of full xHC. Together, xHC and xHC-Flash make large-N residual-stream expansion effective and practical for LLM pre-training.

xHC: 拡張ハイパー接続

xHC: Expanded Hyper-Connections

要旨

Support