最適化におけるパーコレーション・ダイナミクス：分散カスケードと離散スケール不変性

要旨

本研究では、深層ニューラルネットワークをより単純な部分ネットワークに対応する不変集合へと導くことが知られている確率的勾配降下法（SGD）のダイナミクスを考察する。この誘導が時間とともにどのように展開するかは、これまで十分に理解されていない。本稿では、確率的勾配流（SGF）をパーコレーション過程としてモデル化することにより、この問いに答える。この過程では、アーキテクチャの対称性によって、部分ネットワーク群は一つずつではなく、離散的な同時ブロックとして融合することを余儀なくされる。これらの構造的遷移は、巨視的秩序パラメータにおける分散スパイクとして観測され、物理的相転移を想起させる。さらに、このトラップ機構とそれに付随するスケーリングカスケードが、明示的な重尾ノイズモデルの下でAdamおよびAdamWにも拡張されることを示す。

English

We study the dynamics of Stochastic Gradient Descent (SGD), which is known to steer deep neural networks toward invariant sets that correspond to simpler subnetworks. How this steering unfolds over time remains poorly understood. We answer this by modeling the stochastic gradient flow (SGF) as a percolation process, in which architectural symmetries force subnetworks to merge in discrete simultaneous blocks rather than one at a time. These structural transitions register as variance spikes in a macroscopic order parameter, echoing physical phase transitions. We further show this trapping mechanism and its associated scaling cascade extend to Adam and AdamW under an explicit heavy-tailed noise model.