Verständnis von LLMs: Ein umfassender Überblick von Training bis Inferenz

Understanding LLMs: A Comprehensive Overview from Training to Inference

January 4, 2024

Autoren: Yiheng Liu, Hao He, Tianle Han, Xu Zhang, Mengyuan Liu, Jiaming Tian, Yutong Zhang, Jiaqi Wang, Xiaohui Gao, Tianyang Zhong, Yi Pan, Shaochen Xu, Zihao Wu, Zhengliang Liu, Xin Zhang, Shu Zhang, Xintao Hu, Tuo Zhang, Ning Qiang, Tianming Liu, Bao Ge

cs.AI

Zusammenfassung

Die Einführung von ChatGPT hat zu einem signifikanten Anstieg der Nutzung von Large Language Models (LLMs) für die Bearbeitung nachgelagerter Aufgaben geführt. In diesem Zusammenhang liegt ein zunehmender Fokus auf kosteneffizientem Training und Deployment. Günstiges Training und Deployment von LLMs repräsentieren den zukünftigen Entwicklungstrend. Dieses Papier gibt einen Überblick über die Entwicklung von Trainingsmethoden und Inferenz-Deployment-Technologien für große Sprachmodelle, die mit diesem aufkommenden Trend übereinstimmen. Die Diskussion zum Training umfasst verschiedene Aspekte, darunter Datenvorverarbeitung, Trainingsarchitektur, Pre-Training-Aufgaben, paralleles Training sowie relevante Inhalte im Zusammenhang mit der Feinabstimmung von Modellen. Auf der Inferenzseite behandelt das Papier Themen wie Modellkompression, parallele Berechnung, Speicherplanung und strukturelle Optimierung. Es untersucht auch die Nutzung von LLMs und gibt Einblicke in ihre zukünftige Entwicklung.

English

The introduction of ChatGPT has led to a significant increase in the utilization of Large Language Models (LLMs) for addressing downstream tasks. There's an increasing focus on cost-efficient training and deployment within this context. Low-cost training and deployment of LLMs represent the future development trend. This paper reviews the evolution of large language model training techniques and inference deployment technologies aligned with this emerging trend. The discussion on training includes various aspects, including data preprocessing, training architecture, pre-training tasks, parallel training, and relevant content related to model fine-tuning. On the inference side, the paper covers topics such as model compression, parallel computation, memory scheduling, and structural optimization. It also explores LLMs' utilization and provides insights into their future development.