Понимание больших языковых моделей: всесторонний обзор от обучения до вывода

Understanding LLMs: A Comprehensive Overview from Training to Inference

January 4, 2024

Авторы: Yiheng Liu, Hao He, Tianle Han, Xu Zhang, Mengyuan Liu, Jiaming Tian, Yutong Zhang, Jiaqi Wang, Xiaohui Gao, Tianyang Zhong, Yi Pan, Shaochen Xu, Zihao Wu, Zhengliang Liu, Xin Zhang, Shu Zhang, Xintao Hu, Tuo Zhang, Ning Qiang, Tianming Liu, Bao Ge

cs.AI

Аннотация

Появление ChatGPT привело к значительному росту использования крупных языковых моделей (LLM) для решения задач последующих этапов. В этом контексте все больше внимания уделяется экономически эффективному обучению и развертыванию. Низкозатратное обучение и развертывание LLM представляют собой будущий вектор развития. В данной статье рассматривается эволюция технологий обучения крупных языковых моделей и методов их инференсного развертывания, соответствующих этой новой тенденции. Обсуждение обучения включает различные аспекты, такие как предварительная обработка данных, архитектура обучения, задачи предварительного обучения, параллельное обучение и соответствующие аспекты тонкой настройки моделей. В части инференса статья охватывает темы, включая сжатие моделей, параллельные вычисления, планирование памяти и структурную оптимизацию. Также исследуется использование LLM и предлагаются взгляды на их будущее развитие.

English

The introduction of ChatGPT has led to a significant increase in the utilization of Large Language Models (LLMs) for addressing downstream tasks. There's an increasing focus on cost-efficient training and deployment within this context. Low-cost training and deployment of LLMs represent the future development trend. This paper reviews the evolution of large language model training techniques and inference deployment technologies aligned with this emerging trend. The discussion on training includes various aspects, including data preprocessing, training architecture, pre-training tasks, parallel training, and relevant content related to model fine-tuning. On the inference side, the paper covers topics such as model compression, parallel computation, memory scheduling, and structural optimization. It also explores LLMs' utilization and provides insights into their future development.