DynMuon: Una visión de modelado espectral dinámico del muón

Resumen

En los últimos años, Muon se ha consolidado como el método dominante para entrenar modelos de lenguaje de gran escala y, de forma más amplia, transformadores. La diferencia esencial, en comparación con los métodos de descenso por gradiente estándar, radica en reemplazar la matriz de actualización habitual \(M = U\Sigma V^\top\) por su factor polar \(UV^\top\). En este trabajo, consideramos una clase de actualizaciones similares a Muon, donde sustituimos la actualización \(M\) por \(U\Sigma^p V^\top\) para algún parámetro \(p\). A esta operación la denominamos "conformación espectral" y desarrollamos una teoría para seleccionar \(p\) que depende de (a) la curvatura local de la función de pérdida, (b) el ruido proveniente de gradientes estocásticos y ruido en las etiquetas, y (c) la etapa de entrenamiento. Nuestra teoría y experimentación revelan un comportamiento previamente no observado: valores positivos de \(p\) ayudan en las etapas tempranas al enfatizar las direcciones de alta curvatura y acelerar la contracción de la señal, mientras que valores ligeramente negativos de \(p\) benefician las etapas posteriores al reasignar la fuerza de actualización hacia direcciones de baja curvatura que aún contienen señales de entrenamiento útiles. Basándonos en esta idea, proponemos DynMuon, un método eficiente de conformación espectral dinámica que programa \(p\) desde valores positivos hasta ligeramente negativos a lo largo del entrenamiento. Experimentos exhaustivos en distintos tamaños de modelo, arquitecturas y configuraciones de entrenamiento muestran que DynMuon alcanza consistentemente una pérdida de validación más baja que Muon, requiriendo entre un 10.6 % y un 26.5 % menos de pasos para alcanzar la misma pérdida objetivo.

English

In recent years, Muon has emerged as the dominant method for training large language models, and transformers more broadly. The essential difference, when compared to standard gradient descent methods, is to replace the usual update matrix M=UΣV^top with its polar factor UV^top. In this work, we consider a class of Muon-like updates, where we replace the update M with UΣ^p V^top for some parameter p. We call this a "spectral-shaping" operation, and develop a theory of how to pick p which depends on (a) local curvature of the loss function, (b) noise stemming from stochastic gradients and label noise, and (c) training stage. Our theory and experimentation reveal a previously overlooked behavior: positive p helps early by emphasizing high-curvature directions and accelerating signal contraction, while mildly negative p helps later by reallocating update strength toward low-curvature directions that still contain useful training signals. Building on the insight, we propose DynMuon, an efficient dynamic spectral shaping method that schedules p from positive to mildly negative over training. Extensive experiments across model sizes, architectures, and training settings show that DynMuon consistently achieves lower validation loss than Muon, while requiring 10.6-26.5% fewer steps to reach the same target loss.