KromHC: Iper-Connessioni Vincolate a Varietà con Matrici Residue a Prodotto di Kronecker

KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices

January 29, 2026

Autori: Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Danilo Mandic

cs.AI

Abstract

Il successo delle connessioni iper (HC) nelle reti neurali (NN) ha anche evidenziato problemi legati alla loro instabilità durante l'addestramento e alla scalabilità limitata. Le connessioni iper con vincoli di varietà (mHC) mitigano queste sfide proiettando lo spazio delle connessioni residue su un politopo di Birkhoff; tuttavia, affrontano due problemi: 1) il suo algoritmo iterativo di Sinkhorn-Knopp (SK) non produce sempre matrici residue doppiamente stocastiche esatte; 2) mHC comporta una complessità parametrica proibitiva di O(n³C), dove n è la larghezza del flusso residuo e C è la dimensione delle feature. La recente proposta mHC-lite riparametriza la matrice residua tramite il teorema di Birkhoff-von-Neumann per garantire la doppia stocasticità, ma affronta anch'essa un'esplosione fattoriale nella sua complessità parametrica, O(nC · n!). Per affrontare entrambe le sfide, proponiamo KromHC, che utilizza i prodotti di Kronecker di matrici più piccole doppiamente stocastiche per parametrizzare la matrice residua in mHC. Applicando vincoli di varietà attraverso le matrici residue fattore lungo ciascuna modalità del flusso residuo tensoriale, KromHC garantisce l'esatta doppia stocasticità delle matrici residue riducendo al contempo la complessità parametrica a O(n²C). Esperimenti completi dimostrano che KromHC eguaglia o addirittura supera le varianti mHC allo stato dell'arte (SOTA), richiedendo al contempo un numero significativamente inferiore di parametri addestrabili. Il codice è disponibile all'indirizzo https://github.com/wz1119/KromHC.

English

The success of Hyper-Connections (HC) in neural networks (NN) has also highlighted issues related to its training instability and restricted scalability. The Manifold-Constrained Hyper-Connections (mHC) mitigate these challenges by projecting the residual connection space onto a Birkhoff polytope, however, it faces two issues: 1) its iterative Sinkhorn-Knopp (SK) algorithm does not always yield exact doubly stochastic residual matrices; 2) mHC incurs a prohibitive O(n^3C) parameter complexity with n as the width of the residual stream and C as the feature dimension. The recently proposed mHC-lite reparametrizes the residual matrix via the Birkhoff-von-Neumann theorem to guarantee double stochasticity, but also faces a factorial explosion in its parameter complexity, O left( nC cdot n! right). To address both challenges, we propose KromHC, which uses the Kronecker products of smaller doubly stochastic matrices to parametrize the residual matrix in mHC. By enforcing manifold constraints across the factor residual matrices along each mode of the tensorized residual stream, KromHC guarantees exact double stochasticity of the residual matrices while reducing parameter complexity to O(n^2C). Comprehensive experiments demonstrate that KromHC matches or even outperforms state-of-the-art (SOTA) mHC variants, while requiring significantly fewer trainable parameters. The code is available at https://github.com/wz1119/KromHC.