mHC : Hyper-connexions à contrainte de variété

mHC: Manifold-Constrained Hyper-Connections

December 31, 2025

papers.authors: Zhenda Xie, Yixuan Wei, Huanqi Cao, Chenggang Zhao, Chengqi Deng, Jiashi Li, Damai Dai, Huazuo Gao, Jiang Chang, Liang Zhao, Shangyan Zhou, Zhean Xu, Zhengyan Zhang, Wangding Zeng, Shengding Hu, Yuqing Wang, Jingyang Yuan, Lean Wang, Wenfeng Liang

cs.AI

papers.abstract

Récemment, des études illustrées par les Hyper-Connexions (HC) ont étendu le paradigme ubiquiste des connexions résiduelles établi au cours de la dernière décennie, en élargissant la largeur du flux résiduel et en diversifiant les schémas de connectivité. Bien qu'elles produisent des gains de performance substantiels, cette diversification compromet fondamentalement la propriété de correspondance d'identité intrinsèque à la connexion résiduelle, ce qui entraîne une instabilité sévère lors de l'entraînement, une extensibilité limitée, et engendre en outre des surcoûts significatifs d'accès mémoire. Pour relever ces défis, nous proposons les Hyper-Connexions à Contrainte de Variété (mHC), un cadre général qui projette l'espace de connexion résiduelle des HC sur une variété spécifique afin de restaurer la propriété de correspondance d'identité, tout en intégrant une optimisation rigoureuse de l'infrastructure pour garantir l'efficacité. Des expériences empiriques démontrent que mHC est efficace pour l'entraînement à grande échelle, offrant des améliorations tangibles de performance et une extensibilité supérieure. Nous anticipons que mHC, en tant qu'extension flexible et pratique des HC, contribuera à une compréhension plus approfondie de la conception architecturale topologique et indiquera des pistes prometteuses pour l'évolution des modèles fondateurs.

English

Recently, studies exemplified by Hyper-Connections (HC) have extended the ubiquitous residual connection paradigm established over the past decade by expanding the residual stream width and diversifying connectivity patterns. While yielding substantial performance gains, this diversification fundamentally compromises the identity mapping property intrinsic to the residual connection, which causes severe training instability and restricted scalability, and additionally incurs notable memory access overhead. To address these challenges, we propose Manifold-Constrained Hyper-Connections (mHC), a general framework that projects the residual connection space of HC onto a specific manifold to restore the identity mapping property, while incorporating rigorous infrastructure optimization to ensure efficiency. Empirical experiments demonstrate that mHC is effective for training at scale, offering tangible performance improvements and superior scalability. We anticipate that mHC, as a flexible and practical extension of HC, will contribute to a deeper understanding of topological architecture design and suggest promising directions for the evolution of foundational models.