Begrijpen van LLM's: Een Uitgebreid Overzicht van Training tot Inferentie

Understanding LLMs: A Comprehensive Overview from Training to Inference

January 4, 2024

Auteurs: Yiheng Liu, Hao He, Tianle Han, Xu Zhang, Mengyuan Liu, Jiaming Tian, Yutong Zhang, Jiaqi Wang, Xiaohui Gao, Tianyang Zhong, Yi Pan, Shaochen Xu, Zihao Wu, Zhengliang Liu, Xin Zhang, Shu Zhang, Xintao Hu, Tuo Zhang, Ning Qiang, Tianming Liu, Bao Ge

cs.AI

Samenvatting

De introductie van ChatGPT heeft geleid tot een aanzienlijke toename in het gebruik van Large Language Models (LLMs) voor het aanpakken van downstream taken. Er is een groeiende focus op kostenefficiënte training en implementatie binnen deze context. Goedkope training en implementatie van LLMs vertegenwoordigen de toekomstige ontwikkelingsrichting. Dit artikel bespreekt de evolutie van trainingstechnieken voor grote taalmodelen en inferentie-implementatietechnologieën die aansluiten bij deze opkomende trend. De discussie over training omvat verschillende aspecten, waaronder gegevensvoorbewerking, trainingsarchitectuur, pre-trainingstaken, parallelle training en relevante inhoud met betrekking tot model fine-tuning. Op het gebied van inferentie behandelt het artikel onderwerpen zoals modelcompressie, parallelle berekening, geheugenplanning en structurele optimalisatie. Het verkent ook het gebruik van LLMs en biedt inzichten in hun toekomstige ontwikkeling.

English

The introduction of ChatGPT has led to a significant increase in the utilization of Large Language Models (LLMs) for addressing downstream tasks. There's an increasing focus on cost-efficient training and deployment within this context. Low-cost training and deployment of LLMs represent the future development trend. This paper reviews the evolution of large language model training techniques and inference deployment technologies aligned with this emerging trend. The discussion on training includes various aspects, including data preprocessing, training architecture, pre-training tasks, parallel training, and relevant content related to model fine-tuning. On the inference side, the paper covers topics such as model compression, parallel computation, memory scheduling, and structural optimization. It also explores LLMs' utilization and provides insights into their future development.