Pion: Een spectrumbehoudende optimalisator via orthogonale equivalentietransformatie

Samenvatting

Wij introduceren Pion, een spectrumbehoudende optimizer voor de training van grote taalmodellen (LLM's), gebaseerd op orthogonale equivalentietransformatie. In tegenstelling tot additieve optimizers zoals Adam en Muon, werkt Pion elke gewichtsmatrix bij via linker en rechter orthogonale transformaties, waarbij de singuliere waarden gedurende de training behouden blijven. Dit levert een optimalisatiemechanisme op dat de geometrie van gewichtsmatrices moduleert terwijl hun spectralnorm vast blijft. We leiden de Pion-updateregel af, onderzoeken systematisch de ontwerpkeuzes en analyseren het convergentiegedrag samen met enkele belangrijke eigenschappen. Empirische resultaten tonen aan dat Pion een stabiel en concurrerend alternatief biedt voor standaard optimizers, zowel voor pretraining als finetuning van LLM's.

English

We introduce Pion, a spectrum-preserving optimizer for large language model (LLM) training based on orthogonal equivalence transformation. Unlike additive optimizers such as Adam and Muon, Pion updates each weight matrix through left and right orthogonal transformations, preserving its singular values throughout training. This yields an optimization mechanism that modulates the geometry of weight matrices while keeping their spectral norm fixed. We derive the Pion update rule, systematically examine its design choices, and analyze its convergence behavior along with several key properties. Empirical results show that Pion offers a stable and competitive alternative to standard optimizers for both LLM pretraining and finetuning.