Comprendere i Modelli Linguistici di Grande Dimensione: Una Panoramica Completa dall'Addestramento all'Inferenza

Understanding LLMs: A Comprehensive Overview from Training to Inference

January 4, 2024

Autori: Yiheng Liu, Hao He, Tianle Han, Xu Zhang, Mengyuan Liu, Jiaming Tian, Yutong Zhang, Jiaqi Wang, Xiaohui Gao, Tianyang Zhong, Yi Pan, Shaochen Xu, Zihao Wu, Zhengliang Liu, Xin Zhang, Shu Zhang, Xintao Hu, Tuo Zhang, Ning Qiang, Tianming Liu, Bao Ge

cs.AI

Abstract

L'introduzione di ChatGPT ha portato a un significativo aumento nell'utilizzo dei Large Language Models (LLM) per affrontare task downstream. In questo contesto, c'è una crescente attenzione verso l'addestramento e il dispiegamento efficienti in termini di costi. L'addestramento e il dispiegamento a basso costo dei LLM rappresentano la tendenza futura dello sviluppo. Questo articolo esamina l'evoluzione delle tecniche di addestramento dei grandi modelli linguistici e delle tecnologie di inferenza e dispiegamento allineate a questa tendenza emergente. La discussione sull'addestramento include vari aspetti, tra cui la pre-elaborazione dei dati, l'architettura di addestramento, i task di pre-training, l'addestramento parallelo e i contenuti relativi al fine-tuning del modello. Sul lato dell'inferenza, l'articolo copre argomenti come la compressione del modello, il calcolo parallelo, la gestione della memoria e l'ottimizzazione strutturale. Esplora inoltre l'utilizzo dei LLM e fornisce approfondimenti sul loro sviluppo futuro.

English

The introduction of ChatGPT has led to a significant increase in the utilization of Large Language Models (LLMs) for addressing downstream tasks. There's an increasing focus on cost-efficient training and deployment within this context. Low-cost training and deployment of LLMs represent the future development trend. This paper reviews the evolution of large language model training techniques and inference deployment technologies aligned with this emerging trend. The discussion on training includes various aspects, including data preprocessing, training architecture, pre-training tasks, parallel training, and relevant content related to model fine-tuning. On the inference side, the paper covers topics such as model compression, parallel computation, memory scheduling, and structural optimization. It also explores LLMs' utilization and provides insights into their future development.