KromHC: Многообразие-ограниченные гиперсвязи с остаточными матрицами Кронекера

KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices

January 29, 2026

Авторы: Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Danilo Mandic

cs.AI

Аннотация

Успех гиперсвязей (HC) в нейронных сетях также выявил проблемы, связанные с нестабильностью их обучения и ограниченной масштабируемостью. Многообразие-ограниченные гиперсвязи (mHC) смягчают эти проблемы, проецируя пространство остаточных связей на политоп Биркгофа, однако они сталкиваются с двумя проблемами: 1) их итеративный алгоритм Синкхорна-Кноппа (SK) не всегда дает точные дважды стохастические остаточные матрицы; 2) mHC имеет непомерно высокую параметрическую сложность O(n³C), где n — ширина остаточного потока, а C — размерность признаков. Недавно предложенный mHC-lite репараметризует остаточную матрицу через теорему Биркгофа-фон Неймана для гарантии двойной стохастичности, но также сталкивается с факториальным взрывом параметрической сложности O(nC ⋅ n!). Для решения обеих проблем мы предлагаем KromHC, который использует кронекеровы произведения меньших дважды стохастических матриц для параметризации остаточной матрицы в mHC. Применяя ограничения многообразия к факторным остаточным матрицам вдоль каждой моды тензоризованного остаточного потока, KromHC гарантирует точную двойную стохастичность остаточных матриц, одновременно снижая параметрическую сложность до O(n²C). Комплексные эксперименты демонстрируют, что KromHC соответствует или даже превосходит передовые варианты mHC, требуя значительно меньшего количества обучаемых параметров. Код доступен по адресу https://github.com/wz1119/KromHC.

English

The success of Hyper-Connections (HC) in neural networks (NN) has also highlighted issues related to its training instability and restricted scalability. The Manifold-Constrained Hyper-Connections (mHC) mitigate these challenges by projecting the residual connection space onto a Birkhoff polytope, however, it faces two issues: 1) its iterative Sinkhorn-Knopp (SK) algorithm does not always yield exact doubly stochastic residual matrices; 2) mHC incurs a prohibitive O(n^3C) parameter complexity with n as the width of the residual stream and C as the feature dimension. The recently proposed mHC-lite reparametrizes the residual matrix via the Birkhoff-von-Neumann theorem to guarantee double stochasticity, but also faces a factorial explosion in its parameter complexity, O left( nC cdot n! right). To address both challenges, we propose KromHC, which uses the Kronecker products of smaller doubly stochastic matrices to parametrize the residual matrix in mHC. By enforcing manifold constraints across the factor residual matrices along each mode of the tensorized residual stream, KromHC guarantees exact double stochasticity of the residual matrices while reducing parameter complexity to O(n^2C). Comprehensive experiments demonstrate that KromHC matches or even outperforms state-of-the-art (SOTA) mHC variants, while requiring significantly fewer trainable parameters. The code is available at https://github.com/wz1119/KromHC.