KromHC: Hiperconexiones con Restricción de Variedad y Matrices Residuales de Producto de Kronecker
KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices
January 29, 2026
Autores: Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Danilo Mandic
cs.AI
Resumen
El éxito de las Hiperconexiones (HC) en las redes neuronales (RN) también ha puesto de relieve problemas relacionados con su inestabilidad en el entrenamiento y su escalabilidad limitada. Las Hiperconexiones con Restricción de Variedad (mHC) mitigan estos desafíos proyectando el espacio de conexiones residuales sobre un politopo de Birkhoff; sin embargo, enfrenta dos problemas: 1) su algoritmo iterativo de Sinkhorn-Knopp (SK) no siempre produce matrices residuales doblemente estocásticas exactas; 2) mHC incurre en una complejidad de parámetros prohibitiva de O(n³C), donde n es el ancho del flujo residual y C es la dimensión de características. La reciente propuesta mHC-lite reparametriza la matriz residual mediante el teorema de Birkhoff-von Neumann para garantizar la doble estocasticidad, pero también enfrenta una explosión factorial en su complejidad de parámetros, O(nC · n!). Para abordar ambos desafíos, proponemos KromHC, que utiliza los productos de Kronecker de matrices doblemente estocásticas más pequeñas para parametrizar la matriz residual en mHC. Al aplicar restricciones de variedad sobre las matrices residuales factor a lo largo de cada modo del flujo residual tensorizado, KromHC garantiza la doble estocasticidad exacta de las matrices residuales mientras reduce la complejidad de parámetros a O(n²C). Experimentos exhaustivos demuestran que KromHC iguala o incluso supera a las variantes mHC más avanzadas (state-of-the-art, SOTA), requiriendo significativamente menos parámetros entrenables. El código está disponible en https://github.com/wz1119/KromHC.
English
The success of Hyper-Connections (HC) in neural networks (NN) has also highlighted issues related to its training instability and restricted scalability. The Manifold-Constrained Hyper-Connections (mHC) mitigate these challenges by projecting the residual connection space onto a Birkhoff polytope, however, it faces two issues: 1) its iterative Sinkhorn-Knopp (SK) algorithm does not always yield exact doubly stochastic residual matrices; 2) mHC incurs a prohibitive O(n^3C) parameter complexity with n as the width of the residual stream and C as the feature dimension. The recently proposed mHC-lite reparametrizes the residual matrix via the Birkhoff-von-Neumann theorem to guarantee double stochasticity, but also faces a factorial explosion in its parameter complexity, O left( nC cdot n! right). To address both challenges, we propose KromHC, which uses the Kronecker products of smaller doubly stochastic matrices to parametrize the residual matrix in mHC. By enforcing manifold constraints across the factor residual matrices along each mode of the tensorized residual stream, KromHC guarantees exact double stochasticity of the residual matrices while reducing parameter complexity to O(n^2C). Comprehensive experiments demonstrate that KromHC matches or even outperforms state-of-the-art (SOTA) mHC variants, while requiring significantly fewer trainable parameters. The code is available at https://github.com/wz1119/KromHC.