Bug oder Feature^2: Gewichtsdrift, Aktivierungssparsität und Spikes

Zusammenfassung

Das Design moderner neuronaler Architekturen hat sich durch inkrementelle empirische Entscheidungen entwickelt, doch die Mechanismen, die ihre Trainingsdynamik steuern, sind weiterhin nur unvollständig verstanden. Wir identifizieren und analysieren eine negative Gewichtsdrift, die durch die Wechselwirkung zwischen Standardverlustfunktionen und positiv verzerrten Aktivierungsfunktionen hervorgerufen wird. Wir beweisen, dass unter MSE- oder Kreuzentropie-Verlust der Gradient bezüglich positiver Voraktivierungen zum Initialisierungszeitpunkt in Erwartung nichtnegativ ist, was im frühen Training zu negativen Werten fortschreitender Gewichte führt. Die Drift ist intrinsisch für die Optimierung und nicht datenabhängig und bleibt über verschiedene Architekturen (MLP, ResNet, ViT, GPT-nano, MP-SENe) und asymmetrische Aktivierungsfunktionen (ReLU, GELU, SiLU) hinweg bestehen. In Verbindung mit ReLU erzeugt die Gewichtsdrift eine Aktivierungssparsity, die bei GPT-nano bis zu 90 % erreicht. Wir charakterisieren den Sparsity-Accuracy-Kompromiss über 79 Konfigurationen und identifizieren eine scharfe Genauigkeitsklippe oberhalb von etwa 70 % Aktivierungssparsity. Während ReLU² in GPT-nano ein gutes Sparsity-Accuracy-Verhältnis erzielt, verstärkt es pathologisch identifizierte Aktivierungsspitzen in den mittleren Transferschichten. Clipping behebt dies unter Beibehaltung der repräsentationalen Vorteile des Quadrierens: abgeschnittenes ReLU² übertrifft seine unbeschnittene Version, und GELU² erreicht den niedrigsten Validierungsverlust bei GPT-nano. Der Code ist verfügbar unter https://github.com/On-Point-RND/BugOrFeature.

English

The design of modern neural architectures has converged through incremental empirical choices, yet the mechanisms governing their training dynamics remain only partially understood. We identify and analyze a negative weight drift induced by the interaction between standard losses and positively biased activation functions. We prove that under MSE or cross-entropy loss, the gradient with respect to positive pre-activations is non-negative in expectation at initialization, driving downstream weights toward negative values during early training. The drift is intrinsic to optimization rather than data, and persists across architectures (MLP, ResNet, ViT, GPT-nano, MP-SENe) and asymmetric activation functions (ReLU, GELU, SiLU). Coupled with ReLU, weight drift produces activation sparsity reaching up to 90\% in GPT-nano. We characterize the sparsity-accuracy tradeoff across 79 configurations and identify a sharp accuracy cliff above sim70\% activation sparsity. While ReLU^2 achieves a good sparsity--accuracy ratio in GPT-nano, it pathologically amplifies identified activation spikes in intermediate transformer layers. Clipping resolves this while preserving the representational benefits of squaring: clipped ReLU^2 outperforms its unclipped version, and GELU^2 achieves the lowest validation loss on GPT-nano. Code is available at https://github.com/On-Point-RND/BugOrFeature.