Comprensión de los LLM: Una visión integral desde el entrenamiento hasta la inferencia

Understanding LLMs: A Comprehensive Overview from Training to Inference

January 4, 2024

Autores: Yiheng Liu, Hao He, Tianle Han, Xu Zhang, Mengyuan Liu, Jiaming Tian, Yutong Zhang, Jiaqi Wang, Xiaohui Gao, Tianyang Zhong, Yi Pan, Shaochen Xu, Zihao Wu, Zhengliang Liu, Xin Zhang, Shu Zhang, Xintao Hu, Tuo Zhang, Ning Qiang, Tianming Liu, Bao Ge

cs.AI

Resumen

La introducción de ChatGPT ha llevado a un aumento significativo en la utilización de Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) para abordar tareas posteriores. En este contexto, existe un enfoque creciente en el entrenamiento y despliegue eficientes en términos de costos. El entrenamiento y despliegue de bajo costo de los LLMs representan la tendencia futura de desarrollo. Este artículo revisa la evolución de las técnicas de entrenamiento de modelos de lenguaje a gran escala y las tecnologías de inferencia y despliegue alineadas con esta tendencia emergente. La discusión sobre el entrenamiento incluye diversos aspectos, como el preprocesamiento de datos, la arquitectura de entrenamiento, las tareas de preentrenamiento, el entrenamiento paralelo y contenido relevante relacionado con el ajuste fino del modelo. En el lado de la inferencia, el artículo cubre temas como la compresión de modelos, el cálculo paralelo, la planificación de memoria y la optimización estructural. También explora la utilización de los LLMs y ofrece perspectivas sobre su desarrollo futuro.

English

The introduction of ChatGPT has led to a significant increase in the utilization of Large Language Models (LLMs) for addressing downstream tasks. There's an increasing focus on cost-efficient training and deployment within this context. Low-cost training and deployment of LLMs represent the future development trend. This paper reviews the evolution of large language model training techniques and inference deployment technologies aligned with this emerging trend. The discussion on training includes various aspects, including data preprocessing, training architecture, pre-training tasks, parallel training, and relevant content related to model fine-tuning. On the inference side, the paper covers topics such as model compression, parallel computation, memory scheduling, and structural optimization. It also explores LLMs' utilization and provides insights into their future development.