Bug of Feature²: Gewichtsdrift, Activeringssparsiteit en Spikes

Samenvatting

Het ontwerp van moderne neurale architecturen is geconvergeerd door incrementele empirische keuzes, maar de mechanismen die hun trainingsdynamiek beheersen worden nog slechts gedeeltelijk begrepen. We identificeren en analyseren een negatieve gewichtsverschuiving veroorzaakt door de interactie tussen standaard verliesfuncties en positief vertekende activatiefuncties. We bewijzen dat onder MSE- of cross-entropieverlies de gradiënt met betrekking tot positieve pre-activaties niet-negatief is in verwachting bij initialisatie, wat stroomafwaartse gewichten naar negatieve waarden drijft tijdens vroege training. De verschuiving is intrinsiek aan optimalisatie in plaats van data, en blijft bestaan over architecturen (MLP, ResNet, ViT, GPT-nano, MP-SENe) en asymmetrische activatiefuncties (ReLU, GELU, SiLU). In combinatie met ReLU produceert gewichtsverschuiving activatie-sparsity tot 90% in GPT-nano. We karakteriseren de sparsity-nauwkeurigheid afweging over 79 configuraties en identificeren een scherpe nauwkeurigheidsklif boven ongeveer 70% activatie-sparsity. Hoewel ReLU^2 een goede sparsity-nauwkeurigheidsverhouding bereikt in GPT-nano, versterkt het pathologisch geïdentificeerde activatiepieken in tussentijdse transformerlagen. Clipping lost dit op terwijl de representationele voordelen van kwadrateren behouden blijven: geclipte ReLU^2 presteert beter dan de niet-geclipte versie, en GELU^2 behaalt het laagste validatieverlies op GPT-nano. Code is beschikbaar op https://github.com/On-Point-RND/BugOrFeature.

English

The design of modern neural architectures has converged through incremental empirical choices, yet the mechanisms governing their training dynamics remain only partially understood. We identify and analyze a negative weight drift induced by the interaction between standard losses and positively biased activation functions. We prove that under MSE or cross-entropy loss, the gradient with respect to positive pre-activations is non-negative in expectation at initialization, driving downstream weights toward negative values during early training. The drift is intrinsic to optimization rather than data, and persists across architectures (MLP, ResNet, ViT, GPT-nano, MP-SENe) and asymmetric activation functions (ReLU, GELU, SiLU). Coupled with ReLU, weight drift produces activation sparsity reaching up to 90\% in GPT-nano. We characterize the sparsity-accuracy tradeoff across 79 configurations and identify a sharp accuracy cliff above sim70\% activation sparsity. While ReLU^2 achieves a good sparsity--accuracy ratio in GPT-nano, it pathologically amplifies identified activation spikes in intermediate transformer layers. Clipping resolves this while preserving the representational benefits of squaring: clipped ReLU^2 outperforms its unclipped version, and GELU^2 achieves the lowest validation loss on GPT-nano. Code is available at https://github.com/On-Point-RND/BugOrFeature.