バグか特徴か^2：重みドリフト、活性化スパース性、およびスパイク

要旨

現代のニューラルアーキテクチャの設計は経験的な選択の積み重ねによって収束してきたが、その学習ダイナミクスを支配するメカニズムは部分的にしか理解されていない。我々は、標準的な損失関数と正にバイアスされた活性化関数との相互作用によって引き起こされる負の重みドリフトを特定し分析する。MSEまたはクロスエントロピー損失の下では、初期化時点での正のプレ活性化に関する勾配が期待値で非負となり、学習初期に下流の重みを負の値に駆動することを証明する。このドリフトはデータではなく最適化に内在するものであり、アーキテクチャ（MLP、ResNet、ViT、GPT-nano、MP-SENe）や非対称活性化関数（ReLU、GELU、SiLU）を問わず持続する。ReLUと組み合わさることで、重みドリフトはGPT-nanoにおいて最大90%に達する活性化スパース性を生み出す。我々は79の構成にわたってスパース性と精度のトレードオフを特徴付け、特に70%以上の活性化スパース性において急峻な精度の崖を特定する。ReLU²はGPT-nanoで良好なスパース性と精度の比を達成するが、中間トランスフォーマー層において特定された活性化スパイクを病理的に増幅する。クリッピングはこれを解決しつつ二乗の表現上の利点を保持する：クリップされたReLU²はそのクリップされていないバージョンよりも優れ、GELU²はGPT-nanoで最低の検証損失を達成する。コードはhttps://github.com/On-Point-RND/BugOrFeatureで入手可能である。

English

The design of modern neural architectures has converged through incremental empirical choices, yet the mechanisms governing their training dynamics remain only partially understood. We identify and analyze a negative weight drift induced by the interaction between standard losses and positively biased activation functions. We prove that under MSE or cross-entropy loss, the gradient with respect to positive pre-activations is non-negative in expectation at initialization, driving downstream weights toward negative values during early training. The drift is intrinsic to optimization rather than data, and persists across architectures (MLP, ResNet, ViT, GPT-nano, MP-SENe) and asymmetric activation functions (ReLU, GELU, SiLU). Coupled with ReLU, weight drift produces activation sparsity reaching up to 90\% in GPT-nano. We characterize the sparsity-accuracy tradeoff across 79 configurations and identify a sharp accuracy cliff above sim70\% activation sparsity. While ReLU^2 achieves a good sparsity--accuracy ratio in GPT-nano, it pathologically amplifies identified activation spikes in intermediate transformer layers. Clipping resolves this while preserving the representational benefits of squaring: clipped ReLU^2 outperforms its unclipped version, and GELU^2 achieves the lowest validation loss on GPT-nano. Code is available at https://github.com/On-Point-RND/BugOrFeature.