Addestramento di LLM Riparametrizzato tramite Trasformazione di Equivalenza Ortogonale

Reparameterized LLM Training via Orthogonal Equivalence Transformation

June 9, 2025

Autori: Zeju Qiu, Simon Buchholz, Tim Z. Xiao, Maximilian Dax, Bernhard Schölkopf, Weiyang Liu

cs.AI

Abstract

Mentre i grandi modelli linguistici (LLM) stanno guidando il rapido progresso dell'intelligenza artificiale, l'addestramento efficace e affidabile di questi modelli di grandi dimensioni rimane una delle sfide più significative del settore. Per affrontare questa sfida, proponiamo POET, un innovativo algoritmo di addestramento riparametrizzato che utilizza la Trasformazione di Equivalenza Ortogonale per ottimizzare i neuroni. Nello specifico, POET riparametrizza ogni neurone con due matrici ortogonali apprendibili e una matrice di pesi casuali fissa. Grazie alla sua dimostrata capacità di preservare le proprietà spettrali delle matrici di pesi, POET può ottimizzare in modo stabile la funzione obiettivo con un miglioramento della generalizzazione. Abbiamo inoltre sviluppato approssimazioni efficienti che rendono POET flessibile e scalabile per l'addestramento di reti neurali su larga scala. Esperimenti estensivi convalidano l'efficacia e la scalabilità di POET nell'addestramento di LLM.

English

While large language models (LLMs) are driving the rapid advancement of artificial intelligence, effectively and reliably training these large models remains one of the field's most significant challenges. To address this challenge, we propose POET, a novel reParameterized training algorithm that uses Orthogonal Equivalence Transformation to optimize neurons. Specifically, POET reparameterizes each neuron with two learnable orthogonal matrices and a fixed random weight matrix. Because of its provable preservation of spectral properties of weight matrices, POET can stably optimize the objective function with improved generalization. We further develop efficient approximations that make POET flexible and scalable for training large-scale neural networks. Extensive experiments validate the effectiveness and scalability of POET in training LLMs.