Pion: Um Otimizador Preservador de Espectro via Transformação de Equivalência Ortogonal

Resumo

Introduzimos o Pion, um otimizador que preserva o espectro para o treinamento de modelos de linguagem de grande porte (LLMs), baseado em transformações de equivalência ortogonal. Diferentemente de otimizadores aditivos como Adam e Muon, o Pion atualiza cada matriz de peso por meio de transformações ortogonais à esquerda e à direita, preservando seus valores singulares ao longo do treinamento. Isso resulta em um mecanismo de otimização que modula a geometria das matrizes de peso enquanto mantém sua norma espectral fixa. Derivamos a regra de atualização do Pion, examinamos sistematicamente suas escolhas de design e analisamos seu comportamento de convergência, juntamente com diversas propriedades-chave. Resultados empíricos mostram que o Pion oferece uma alternativa estável e competitiva aos otimizadores padrão tanto para pré-treinamento quanto para ajuste fino de LLMs.

English

We introduce Pion, a spectrum-preserving optimizer for large language model (LLM) training based on orthogonal equivalence transformation. Unlike additive optimizers such as Adam and Muon, Pion updates each weight matrix through left and right orthogonal transformations, preserving its singular values throughout training. This yields an optimization mechanism that modulates the geometry of weight matrices while keeping their spectral norm fixed. We derive the Pion update rule, systematically examine its design choices, and analyze its convergence behavior along with several key properties. Empirical results show that Pion offers a stable and competitive alternative to standard optimizers for both LLM pretraining and finetuning.