Ошибка или особенность²: дрейф весов, разреженность активаций и спайки

Аннотация

Дизайн современных нейронных архитектур сложился в результате инкрементальных эмпирических решений, однако механизмы, управляющие их динамикой обучения, остаются поняты лишь частично. Мы выявляем и анализируем отрицательный дрейф весов, вызванный взаимодействием стандартных функций потерь и положительно смещённых функций активации. Мы доказываем, что при использовании функции потерь MSE или кросс-энтропии градиент по отношению к положительным преактивациям является неотрицательным в ожидании на этапе инициализации, что приводит к смещению последующих весов в сторону отрицательных значений в начале обучения. Этот дрейф является внутренним свойством оптимизации, а не данных, и сохраняется при различных архитектурах (MLP, ResNet, ViT, GPT-nano, MP-SENe) и асимметричных функциях активации (ReLU, GELU, SiLU). В сочетании с ReLU дрейф весов приводит к разреженности активаций, достигающей 90% в GPT-nano. Мы характеризуем компромисс между разреженностью и точностью для 79 конфигураций и выявляем резкий обрыв точности при разреженности активаций выше ~70%. Хотя ReLU² достигает хорошего соотношения разреженности и точности в GPT-nano, он патологически усиливает выявленные пики активаций в промежуточных слоях трансформера. Клиппирование решает эту проблему, сохраняя репрезентативные преимущества возведения в квадрат: усечённая версия ReLU² превосходит свою неограниченную версию, а GELU² достигает наименьшей функции потерь на валидации в GPT-nano. Код доступен по адресу https://github.com/On-Point-RND/BugOrFeature.

English

The design of modern neural architectures has converged through incremental empirical choices, yet the mechanisms governing their training dynamics remain only partially understood. We identify and analyze a negative weight drift induced by the interaction between standard losses and positively biased activation functions. We prove that under MSE or cross-entropy loss, the gradient with respect to positive pre-activations is non-negative in expectation at initialization, driving downstream weights toward negative values during early training. The drift is intrinsic to optimization rather than data, and persists across architectures (MLP, ResNet, ViT, GPT-nano, MP-SENe) and asymmetric activation functions (ReLU, GELU, SiLU). Coupled with ReLU, weight drift produces activation sparsity reaching up to 90\% in GPT-nano. We characterize the sparsity-accuracy tradeoff across 79 configurations and identify a sharp accuracy cliff above sim70\% activation sparsity. While ReLU^2 achieves a good sparsity--accuracy ratio in GPT-nano, it pathologically amplifies identified activation spikes in intermediate transformer layers. Clipping resolves this while preserving the representational benefits of squaring: clipped ReLU^2 outperforms its unclipped version, and GELU^2 achieves the lowest validation loss on GPT-nano. Code is available at https://github.com/On-Point-RND/BugOrFeature.