Pion : Un optimiseur préservant le spectre via transformation par équivalence orthogonale

Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation

May 12, 2026

Auteurs: Kexuan Shi, Hanxuan Li, Zeju Qiu, Yandong Wen, Simon Buchholz, Weiyang Liu

cs.AI

Résumé

Nous présentons Pion, un optimiseur préservant le spectre pour l'entraînement des grands modèles de langage (LLM), fondé sur une transformation d'équivalence orthogonale. Contrairement aux optimiseurs additifs tels qu'Adam et Muon, Pion met à jour chaque matrice de poids via des transformations orthogonales gauche et droite, préservant ainsi ses valeurs singulières tout au long de l'entraînement. Cela donne lieu à un mécanisme d'optimisation qui module la géométrie des matrices de poids tout en maintenant leur norme spectrale fixe. Nous dérivons la règle de mise à jour de Pion, examinons systématiquement ses choix de conception, et analysons son comportement de convergence ainsi que plusieurs propriétés clés. Les résultats empiriques montrent que Pion constitue une alternative stable et compétitive aux optimiseurs standards pour le pré-entraînement et l'ajustement fin des LLM.

English

We introduce Pion, a spectrum-preserving optimizer for large language model (LLM) training based on orthogonal equivalence transformation. Unlike additive optimizers such as Adam and Muon, Pion updates each weight matrix through left and right orthogonal transformations, preserving its singular values throughout training. This yields an optimization mechanism that modulates the geometry of weight matrices while keeping their spectral norm fixed. We derive the Pion update rule, systematically examine its design choices, and analyze its convergence behavior along with several key properties. Empirical results show that Pion offers a stable and competitive alternative to standard optimizers for both LLM pretraining and finetuning.