損失関数は基底を見ないが、Adamは見る

要旨

因子分解モデル W = UV^T に対する勾配降下法は、暗黙的に低ランク解へ偏るが、同じ小さな初期化から始まるAdamはそうではない。その違いは、損失のゲージ対称性、すなわち (U, V) → (UQ, VQ) の変換に対する不変性に由来する。勾配流の低ランク機構が最適化器で利用できるのは、その最適化器がゲージ等変である場合に限られる。この条件は転移に必要だが、低ランク回復には十分ではない。勾配降下法、モーメンタム、「共有スカラー」Adam、Muon、Shampooはこれを満たす。Adam、RMSProp、およびその他の座標単位の手法は満たさない。構造定理は、無記憶の等変規則がまさにグラム行列で決まる左プレコンディショナーであることを特徴づけ、転移定理は勾配流の軌道ごとの性質を共有スカラー流へと引き継ぐ。次に、劣決定行列センシングにおける9つの更新規則を、埋め込まれた正解に対する回復誤差によって順位付けする。座標単位から共有スカラーへのプレコンディショニングにわたる一パラメータ族は、バイアスを単調に回復し、異方性が原因であることを特定する。「スペクトルスケジュール」はMuonに関する2つの相反する報告を調和させる。均等レートの更新は低ランク目標を正確に回復するが、スペクトル尾部が成長するにつれてその優位性を失う。トランスフォーマーでは、Adamは最初のステップで2つのゲージ等価な初期化を分離する（このステップでは等変最適化器は浮動小数点精度の範囲で一致したままである）。そして最終的に、ヘッドごとの不変量 W_Q^T W_K は相対フロベニウス距離で56%乖離し、そのギャップはヘッドごとの回転では埋められない。学習損失を一致させた条件下では、2つのハイパースペクトルデータセット上で、勾配降下法は最も低いサンプリング密度およびより低い実効ランクにおいてホールドアウト誤差を43〜44%削減する。したがって、基底の選択はチューニングの細部ではなく、最適化器がどの補間関数を選択するかに関する決定である。

English

Gradient descent on a factored model W = UV^top is implicitly biased toward low-rank solutions, while Adam, starting from the same small initialization, is not. We trace the difference to the gauge symmetry of the loss, its invariance under (U, V) mapsto (UQ, VQ). Gradient flow's low-rank mechanism is available to an optimizer only if that optimizer is gauge-equivariant, a condition necessary for the transfer but not sufficient for low-rank recovery. Gradient descent, momentum, "shared-scalar" Adam, Muon, and Shampoo satisfy it. Adam, RMSProp, and the other coordinate-wise methods do not. A structure theorem characterizes the memoryless equivariant rules as exactly the Gram-determined left preconditioners, and a transfer theorem carries gradient flow's pathwise properties to common-scalar flows. We then sort nine update rules on underdetermined matrix sensing by recovery error against the planted ground truth. A one-parameter family from coordinate-wise to shared-scalar preconditioning restores the bias monotonically, isolating anisotropy as the cause. A "spectral schedule" reconciles two opposing reports about Muon: equal-rate updates recover exactly low-rank targets but lose their edge as the spectral tail grows. In transformers, Adam separates two gauge-equivalent initializations at the first step, where the equivariant optimizers stay at float precision, and ends with the per-head invariants W_Q^top W_K 56% apart in relative Frobenius distance, a gap no per-head rotation can close. On two hyperspectral datasets at matched training loss, gradient descent cuts held-out error by 43-44% at the lowest sampling density, and at lower effective rank. Basis choice is therefore not a tuning detail but a decision about which interpolant the optimizer selects.