Pion: Ein spektrumerhaltender Optimierer mittels orthogonaler Äquivalenztransformation

Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation

May 12, 2026

Autoren: Kexuan Shi, Hanxuan Li, Zeju Qiu, Yandong Wen, Simon Buchholz, Weiyang Liu

cs.AI

Zusammenfassung

Wir stellen Pion vor, einen spektralerhaltenden Optimierer für das Training großer Sprachmodelle (LLMs), der auf orthogonalen Äquivalenztransformationen basiert. Im Gegensatz zu additiven Optimierern wie Adam und Muon aktualisiert Pion jede Gewichtsmatrix durch linke und rechte orthogonale Transformationen und bewahrt dabei ihre Singulärwerte während des gesamten Trainings. Dies ergibt einen Optimierungsmechanismus, der die Geometrie der Gewichtsmatrizen moduliert, während ihre Spektralnorm fest bleibt. Wir leiten die Aktualisierungsregel von Pion her, untersuchen systematisch ihre Designentscheidungen und analysieren ihr Konvergenzverhalten sowie mehrere Schlüsseleigenschaften. Empirische Ergebnisse zeigen, dass Pion eine stabile und wettbewerbsfähige Alternative zu Standard-Optimierern sowohl für das Pretraining als auch für das Finetuning von LLMs darstellt.

English

We introduce Pion, a spectrum-preserving optimizer for large language model (LLM) training based on orthogonal equivalence transformation. Unlike additive optimizers such as Adam and Muon, Pion updates each weight matrix through left and right orthogonal transformations, preserving its singular values throughout training. This yields an optimization mechanism that modulates the geometry of weight matrices while keeping their spectral norm fixed. We derive the Pion update rule, systematically examine its design choices, and analyze its convergence behavior along with several key properties. Empirical results show that Pion offers a stable and competitive alternative to standard optimizers for both LLM pretraining and finetuning.