Pre-addestramento di un Grande Modello Linguistico mediante GPU Distribuite: un Paradigma Decentralizzato Efficiente in Termini di Memoria
Pretraining A Large Language Model using Distributed GPUs: A Memory-Efficient Decentralized Paradigm
February 12, 2026
Autori: Jinrui Zhang, Chaodong Xiao, Aoqi Wu, Xindong Zhang, Lei Zhang
cs.AI
Abstract
L'addestramento preliminare di grandi modelli linguistici (LLM) richiede tipicamente cluster centralizzati con migliaia di GPU ad alta memoria (ad esempio, H100/A100). I metodi recenti di addestramento decentralizzato riducono il sovraccarico comunicativo impiegando ottimizzazione federata; tuttavia, essi necessitano ancora di addestrare l'intero modello su ciascun nodo, rimanendo vincolati dai limiti di memoria delle GPU. In questo lavoro, proponiamo SPES (SParse Expert Synchronization), un framework decentralizzato efficiente in memoria per l'addestramento preliminare di LLM a miscela di esperti (MoE). SPES addestra solo un sottoinsieme di esperti per nodo, riducendo sostanzialmente l'impronta di memoria. Ciascun nodo aggiorna i propri esperti locali e si sincronizza periodicamente con altri nodi, eliminando la trasmissione dei parametri completi mentre garantisce una condivisione efficiente della conoscenza. Per accelerare la convergenza, introduciamo una strategia di riscaldamento mediante fusione di esperti, in cui gli esperti scambiano conoscenza nelle fasi iniziali dell'addestramento, per stabilire rapidamente capacità fondamentali. Con SPES, abbiamo addestrato un LLM MoE da 2 miliardi di parametri utilizzando 16 GPU standalone da 48GB su connessioni internet, raggiungendo prestazioni competitive con LLM addestrati centralmente con budget computazionali simili. Dimostriamo ulteriormente la scalabilità addestrando un modello da 7B da zero e un modello da 9B ricavato da un checkpoint denso, entrambi in linea con i precedenti benchmark centralizzati. Il nostro codice è disponibile all'indirizzo https://github.com/zjr2000/SPES.
English
Pretraining large language models (LLMs) typically requires centralized clusters with thousands of high-memory GPUs (e.g., H100/A100). Recent decentralized training methods reduce communication overhead by employing federated optimization; however, they still need to train the entire model on each node, remaining constrained by GPU memory limitations. In this work, we propose SParse Expert Synchronization (SPES), a memory-efficient decentralized framework for pretraining mixture-of-experts (MoE) LLMs. SPES trains only a subset of experts per node, substantially lowering the memory footprint. Each node updates its local experts and periodically synchronizes with other nodes, eliminating full-parameter transmission while ensuring efficient knowledge sharing. To accelerate convergence, we introduce an expert-merging warm-up strategy, where experts exchange knowledge early in training, to rapidly establish foundational capabilities. With SPES, we train a 2B-parameter MoE LLM using 16 standalone 48GB GPUs over internet connections, which achieves competitive performance with centrally trained LLMs under similar computational budgets. We further demonstrate scalability by training a 7B model from scratch and a 9B model upcycled from a dense checkpoint, both of which match prior centralized baselines. Our code is available at https://github.com/zjr2000/SPES.