mHC: Manifold-beschränkte Hyper-Verbindungen
mHC: Manifold-Constrained Hyper-Connections
December 31, 2025
papers.authors: Zhenda Xie, Yixuan Wei, Huanqi Cao, Chenggang Zhao, Chengqi Deng, Jiashi Li, Damai Dai, Huazuo Gao, Jiang Chang, Liang Zhao, Shangyan Zhou, Zhean Xu, Zhengyan Zhang, Wangding Zeng, Shengding Hu, Yuqing Wang, Jingyang Yuan, Lean Wang, Wenfeng Liang
cs.AI
papers.abstract
Kürzlich haben Studien, wie beispielsweise Hyper-Connections (HC), das in den letzten Jahrzehnten etablierierte, allgegenwärtige Paradigma der residualen Verbindungen erweitert, indem sie die Breite des Residualstroms vergrößerten und die Konnektivitätsmuster diversifizierten. Obwohl diese Diversifizierung erhebliche Leistungssteigerungen bringt, beeinträchtigt sie grundlegend die Identitätsabbildungseigenschaft, die der residualen Verbindung innewohnt. Dies verursacht schwere Trainingsinstabilität und eingeschränkte Skalierbarkeit und verursacht zudem einen merklichen Mehraufwand durch Speicherzugriffe. Um diese Herausforderungen zu bewältigen, schlagen wir Manifold-Constrained Hyper-Connections (mHC) vor, einen allgemeinen Rahmen, der den Residualverbindungsraum von HC auf eine spezifische Mannigfaltigkeit projiziert, um die Identitätsabbildungseigenschaft wiederherzustellen, und gleichzeitig rigorose Infrastrukturoptimierung integriert, um die Effizienz zu gewährleisten. Empirische Experimente zeigen, dass mHC effektiv für das Training in großem Maßstab ist und greifbare Leistungsverbesserungen sowie überlegene Skalierbarkeit bietet. Wir erwarten, dass mHC als flexible und praktische Erweiterung von HC zu einem tieferen Verständnis des topologischen Architekturdesigns beitragen und vielversprechende Richtungen für die Evolution von Fundamentalmodellen aufzeigen wird.
English
Recently, studies exemplified by Hyper-Connections (HC) have extended the ubiquitous residual connection paradigm established over the past decade by expanding the residual stream width and diversifying connectivity patterns. While yielding substantial performance gains, this diversification fundamentally compromises the identity mapping property intrinsic to the residual connection, which causes severe training instability and restricted scalability, and additionally incurs notable memory access overhead. To address these challenges, we propose Manifold-Constrained Hyper-Connections (mHC), a general framework that projects the residual connection space of HC onto a specific manifold to restore the identity mapping property, while incorporating rigorous infrastructure optimization to ensure efficiency. Empirical experiments demonstrate that mHC is effective for training at scale, offering tangible performance improvements and superior scalability. We anticipate that mHC, as a flexible and practical extension of HC, will contribute to a deeper understanding of topological architecture design and suggest promising directions for the evolution of foundational models.