KromHC : Hyper-connexions à contrainte de variété avec matrices résiduelles en produit de Kronecker

KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices

January 29, 2026

papers.authors: Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Danilo Mandic

cs.AI

papers.abstract

Le succès des Hyper-Connexions (HC) dans les réseaux de neurones (RN) a également mis en lumière des problèmes liés à leur instabilité lors de l'entraînement et à leur scalabilité limitée. Les Hyper-Connexions à Contrainte de Variété (mHC) atténuent ces difficultés en projetant l'espace de connexion résiduel sur un polytope de Birkhoff. Cependant, cette approche rencontre deux problèmes : 1) son algorithme itératif de Sinkhorn-Knopp (SK) ne produit pas toujours des matrices résiduelles doublement stochastiques exactes ; 2) mHC induit une complexité paramétrique prohibitrice de O(n³C), où n est la largeur du flux résiduel et C la dimension des caractéristiques. La méthode mHC-lite, proposée récemment, reparamétrise la matrice résiduelle via le théorème de Birkhoff-von Neumann pour garantir la double stochasticité, mais elle est également confrontée à une explosion factorielle de sa complexité paramétrique, O(nC · n!). Pour relever ces deux défis, nous proposons KromHC, qui utilise les produits de Kronecker de matrices doublement stochastiques plus petites pour paramétrer la matrice résiduelle dans mHC. En imposant des contraintes de variété sur les matrices résiduelles factorielles le long de chaque mode du flux résiduel tensorisé, KromHC garantit une double stochasticité exacte des matrices résiduelles tout en réduisant la complexité paramétrique à O(n²C). Des expériences approfondies démontrent que KromHC égalise ou même surpasse les variantes mHC de pointe (state-of-the-art, SOTA), tout en nécessitant un nombre de paramètres entraînables significativement moindre. Le code est disponible à l'adresse https://github.com/wz1119/KromHC.

English

The success of Hyper-Connections (HC) in neural networks (NN) has also highlighted issues related to its training instability and restricted scalability. The Manifold-Constrained Hyper-Connections (mHC) mitigate these challenges by projecting the residual connection space onto a Birkhoff polytope, however, it faces two issues: 1) its iterative Sinkhorn-Knopp (SK) algorithm does not always yield exact doubly stochastic residual matrices; 2) mHC incurs a prohibitive O(n^3C) parameter complexity with n as the width of the residual stream and C as the feature dimension. The recently proposed mHC-lite reparametrizes the residual matrix via the Birkhoff-von-Neumann theorem to guarantee double stochasticity, but also faces a factorial explosion in its parameter complexity, O left( nC cdot n! right). To address both challenges, we propose KromHC, which uses the Kronecker products of smaller doubly stochastic matrices to parametrize the residual matrix in mHC. By enforcing manifold constraints across the factor residual matrices along each mode of the tensorized residual stream, KromHC guarantees exact double stochasticity of the residual matrices while reducing parameter complexity to O(n^2C). Comprehensive experiments demonstrate that KromHC matches or even outperforms state-of-the-art (SOTA) mHC variants, while requiring significantly fewer trainable parameters. The code is available at https://github.com/wz1119/KromHC.