KromHC: Hiperconexões com Restrição de Variedade e Matrizes Residuais de Produto de Kronecker
KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices
January 29, 2026
Autores: Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Danilo Mandic
cs.AI
Resumo
O sucesso das Hiperconexões (HC) em redes neurais (RN) também destacou problemas relacionados à sua instabilidade no treinamento e escalabilidade limitada. As Hiperconexões com Restrição de Variedade (mHC) mitigam esses desafios projetando o espaço de conexão residual em um politopo de Birkhoff. No entanto, esta abordagem enfrenta dois problemas: 1) o seu algoritmo iterativo de Sinkhorn-Knopp (SK) nem sempre produz matrizes residuais duplamente estocásticas exatas; 2) a mHC incorre numa complexidade de parâmetros proibitiva de O(n³C), onde n é a largura do fluxo residual e C é a dimensão da característica. A recentemente proposta mHC-lite reparametriza a matriz residual via o teorema de Birkhoff-von Neumann para garantir a dupla estocasticidade, mas também enfrenta uma explosão fatorial na sua complexidade de parâmetros, O( nC · n! ). Para abordar ambos os desafios, propomos o KromHC, que usa os produtos de Kronecker de matrizes duplamente estocásticas menores para parametrizar a matriz residual na mHC. Ao impor restrições de variedade nas matrizes residuais fatoriais ao longo de cada modo do fluxo residual tensorizado, o KromHC garante a dupla estocasticidade exata das matrizes residuais enquanto reduz a complexidade de parâmetros para O(n²C). Experimentos abrangentes demonstram que o KromHC iguala ou mesmo supera as variantes de mHC state-of-the-art (SOTA), exigindo significativamente menos parâmetros treináveis. O código está disponível em https://github.com/wz1119/KromHC.
English
The success of Hyper-Connections (HC) in neural networks (NN) has also highlighted issues related to its training instability and restricted scalability. The Manifold-Constrained Hyper-Connections (mHC) mitigate these challenges by projecting the residual connection space onto a Birkhoff polytope, however, it faces two issues: 1) its iterative Sinkhorn-Knopp (SK) algorithm does not always yield exact doubly stochastic residual matrices; 2) mHC incurs a prohibitive O(n^3C) parameter complexity with n as the width of the residual stream and C as the feature dimension. The recently proposed mHC-lite reparametrizes the residual matrix via the Birkhoff-von-Neumann theorem to guarantee double stochasticity, but also faces a factorial explosion in its parameter complexity, O left( nC cdot n! right). To address both challenges, we propose KromHC, which uses the Kronecker products of smaller doubly stochastic matrices to parametrize the residual matrix in mHC. By enforcing manifold constraints across the factor residual matrices along each mode of the tensorized residual stream, KromHC guarantees exact double stochasticity of the residual matrices while reducing parameter complexity to O(n^2C). Comprehensive experiments demonstrate that KromHC matches or even outperforms state-of-the-art (SOTA) mHC variants, while requiring significantly fewer trainable parameters. The code is available at https://github.com/wz1119/KromHC.