LLM 이해: 훈련부터 추론까지 포괄적 개관

초록

ChatGPT의 도입으로 인해 다운스트림 작업 해결을 위한 대규모 언어 모델(LLMs)의 활용이 크게 증가하였다. 이러한 맥락에서 비용 효율적인 훈련과 배포에 대한 관심이 점차 높아지고 있다. LLMs의 저비용 훈련 및 배포는 미래의 발전 트렌드를 대표한다. 본 논문은 이러한 신흥 트렌드에 부합하는 대규모 언어 모델 훈련 기술과 추론 배포 기술의 진화를 검토한다. 훈련에 대한 논의는 데이터 전처리, 훈련 아키텍처, 사전 훈련 작업, 병렬 훈련 및 모델 미세 조정과 관련된 내용을 포함한 다양한 측면을 다룬다. 추론 측면에서는 모델 압축, 병렬 계산, 메모리 스케줄링 및 구조 최적화와 같은 주제를 다룬다. 또한 LLMs의 활용을 탐구하고 미래 발전에 대한 통찰을 제공한다.

English

The introduction of ChatGPT has led to a significant increase in the utilization of Large Language Models (LLMs) for addressing downstream tasks. There's an increasing focus on cost-efficient training and deployment within this context. Low-cost training and deployment of LLMs represent the future development trend. This paper reviews the evolution of large language model training techniques and inference deployment technologies aligned with this emerging trend. The discussion on training includes various aspects, including data preprocessing, training architecture, pre-training tasks, parallel training, and relevant content related to model fine-tuning. On the inference side, the paper covers topics such as model compression, parallel computation, memory scheduling, and structural optimization. It also explores LLMs' utilization and provides insights into their future development.

LLM 이해: 훈련부터 추론까지 포괄적 개관

Understanding LLMs: A Comprehensive Overview from Training to Inference

초록

Support