Frac-Connections: Fractionele Uitbreiding van Hyper-Connecties

Frac-Connections: Fractional Extension of Hyper-Connections

March 18, 2025

Auteurs: Defa Zhu, Hongzhi Huang, Jundong Zhou, Zihao Huang, Yutao Zeng, Banggu Wu, Qiyang Min, Xun Zhou

cs.AI

Samenvatting

Residuele verbindingen vormen de kern van moderne deep learning-architecturen, waardoor het mogelijk wordt zeer diepe netwerken te trainen door het verdwijnen van gradiënten te verminderen. Hyper-Verbindingen hebben recentelijk residuele verbindingen gegeneraliseerd door meerdere verbindingssterktes op verschillende dieptes in te voeren, waardoor het wip-effect tussen het verdwijnen van gradiënten en het ineenstorten van representaties wordt aangepakt. Echter, Hyper-Verbindingen verhogen de geheugentoegangskosten door de breedte van verborgen toestanden uit te breiden. In dit artikel stellen we Frac-Verbindingen voor, een nieuwe aanpak die verborgen toestanden in meerdere delen verdeelt in plaats van hun breedte uit te breiden. Frac-Verbindingen behouden gedeeltelijk de voordelen van Hyper-Verbindingen terwijl ze het geheugengebruik verminderen. Om hun effectiviteit te valideren, voeren we grootschalige experimenten uit op taaltaken, waarbij het grootste model een 7B MoE-model is dat getraind is op tot 3T tokens, wat aantoont dat Frac-Verbindingen aanzienlijk beter presteren dan residuele verbindingen.

English

Residual connections are central to modern deep learning architectures, enabling the training of very deep networks by mitigating gradient vanishing. Hyper-Connections recently generalized residual connections by introducing multiple connection strengths at different depths, thereby addressing the seesaw effect between gradient vanishing and representation collapse. However, Hyper-Connections increase memory access costs by expanding the width of hidden states. In this paper, we propose Frac-Connections, a novel approach that divides hidden states into multiple parts rather than expanding their width. Frac-Connections retain partial benefits of Hyper-Connections while reducing memory consumption. To validate their effectiveness, we conduct large-scale experiments on language tasks, with the largest being a 7B MoE model trained on up to 3T tokens, demonstrating that Frac-Connections significantly outperform residual connections.