최적화에서의 침투 동역학: 분산 캐스케이드와 이산 척도 불변성

초록

우리는 확률적 경사 하강법(SGD)의 동역학을 연구한다. SGD는 심층 신경망을 더 단순한 부분 신경망에 대응하는 불변 집합으로 이끄는 것으로 알려져 있다. 그러나 이러한 유도 과정이 시간에 따라 어떻게 전개되는지는 여전히 제대로 이해되지 못하고 있다. 우리는 확률적 경사 흐름(SGF)을 침투 과정으로 모델링함으로써 이에 답한다. 이 침투 과정에서 구조적 대칭성은 부분 신경망들이 하나씩이 아니라 동시다발적인 이산 블록들로 병합되도록 강제한다. 이러한 구조적 전이는 거시 질서 변수의 분산 급증으로 나타나며, 이는 물리적 상전이를 연상시킨다. 나아가 우리는 이 포획 메커니즘과 그에 수반되는 스케일링 캐스케이드가 명시적인 두꺼운 꼬리 노이즈 모델 하에서 Adam과 AdamW에도 확장됨을 보인다.

English

We study the dynamics of Stochastic Gradient Descent (SGD), which is known to steer deep neural networks toward invariant sets that correspond to simpler subnetworks. How this steering unfolds over time remains poorly understood. We answer this by modeling the stochastic gradient flow (SGF) as a percolation process, in which architectural symmetries force subnetworks to merge in discrete simultaneous blocks rather than one at a time. These structural transitions register as variance spikes in a macroscopic order parameter, echoing physical phase transitions. We further show this trapping mechanism and its associated scaling cascade extend to Adam and AdamW under an explicit heavy-tailed noise model.