Frac-Connections: ハイパーコネクションの分数拡張

Frac-Connections: Fractional Extension of Hyper-Connections

March 18, 2025

著者: Defa Zhu, Hongzhi Huang, Jundong Zhou, Zihao Huang, Yutao Zeng, Banggu Wu, Qiyang Min, Xun Zhou

cs.AI

要旨

残差接続は、勾配消失を緩和することで非常に深いネットワークの学習を可能にする、現代の深層学習アーキテクチャの中核をなす技術です。Hyper-Connectionsは最近、異なる深さで複数の接続強度を導入することで残差接続を一般化し、勾配消失と表現崩壊の間のシーソー効果に対処しました。しかし、Hyper-Connectionsは隠れ状態の幅を拡張することでメモリアクセスコストを増加させます。本論文では、隠れ状態の幅を拡張するのではなく、複数の部分に分割する新しいアプローチであるFrac-Connectionsを提案します。Frac-Connectionsは、Hyper-Connectionsの利点を一部保持しつつ、メモリ消費を削減します。その有効性を検証するため、最大7BのMoEモデルを最大3Tトークンで学習する大規模な言語タスク実験を行い、Frac-Connectionsが残差接続を大幅に上回ることを実証しました。

English

Residual connections are central to modern deep learning architectures, enabling the training of very deep networks by mitigating gradient vanishing. Hyper-Connections recently generalized residual connections by introducing multiple connection strengths at different depths, thereby addressing the seesaw effect between gradient vanishing and representation collapse. However, Hyper-Connections increase memory access costs by expanding the width of hidden states. In this paper, we propose Frac-Connections, a novel approach that divides hidden states into multiple parts rather than expanding their width. Frac-Connections retain partial benefits of Hyper-Connections while reducing memory consumption. To validate their effectiveness, we conduct large-scale experiments on language tasks, with the largest being a 7B MoE model trained on up to 3T tokens, demonstrating that Frac-Connections significantly outperform residual connections.