Pion: спектр-сохраняющий оптимизатор на основе ортогонального эквивалентного преобразования

Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation

May 12, 2026

Авторы: Kexuan Shi, Hanxuan Li, Zeju Qiu, Yandong Wen, Simon Buchholz, Weiyang Liu

cs.AI

Аннотация

Мы представляем Pion — оптимизатор, сохраняющий спектр при обучении больших языковых моделей (LLM), основанный на ортогональных преобразованиях эквивалентности. В отличие от аддитивных оптимизаторов, таких как Adam и Muon, Pion обновляет каждую матрицу весов с помощью левых и правых ортогональных преобразований, сохраняя её сингулярные значения на протяжении всего обучения. Это даёт механизм оптимизации, который модулирует геометрию матриц весов, фиксируя их спектральную норму. Мы выводим правило обновления Pion, систематически исследуем варианты его проектирования и анализируем сходимость наряду с несколькими ключевыми свойствами. Эмпирические результаты показывают, что Pion является стабильной и конкурентоспособной альтернативой стандартным оптимизаторам как для предобучения, так и для дообучения больших языковых моделей.

English

We introduce Pion, a spectrum-preserving optimizer for large language model (LLM) training based on orthogonal equivalence transformation. Unlike additive optimizers such as Adam and Muon, Pion updates each weight matrix through left and right orthogonal transformations, preserving its singular values throughout training. This yields an optimization mechanism that modulates the geometry of weight matrices while keeping their spectral norm fixed. We derive the Pion update rule, systematically examine its design choices, and analyze its convergence behavior along with several key properties. Empirical results show that Pion offers a stable and competitive alternative to standard optimizers for both LLM pretraining and finetuning.