학습을 통해 순위를 매겨 효율적인 LLM 일정 계획 설정

Efficient LLM Scheduling by Learning to Rank

August 28, 2024

저자: Yichao Fu, Siqi Zhu, Runlong Su, Aurick Qiao, Ion Stoica, Hao Zhang

cs.AI

초록

대형 언어 모델 (LLM) 추론에서 LLM 요청의 출력 길이는 일반적으로 사전에 알려지지 않은 것으로 간주됩니다. 따라서 대부분의 LLM 서빙 시스템은 간단한 선착순 (FCFS) 스케줄링 전략을 채택하여 Head-Of-Line (HOL) 차단과 처리량 및 서비스 품질 감소를 유발합니다. 본 논문에서는 이 가정을 재검토합니다. 각 요청의 정확한 생성 길이를 예측하는 것은 불가능하지만, 학습을 통해 배치 요청에서 출력 길이의 상대 순위를 예측할 수 있다는 것을 보여줍니다. 순위 정보는 요청 스케줄링에 유용한 지침을 제공합니다. 이 통찰력을 기반으로 LLM 추론 및 서빙을 위한 새로운 스케줄러를 개발하였으며, 기존 방법보다 최단 작업 우선 (SJF) 일정을 더 잘 근사할 수 있습니다. 이 스케줄러를 최첨단 LLM 서빙 시스템과 통합하고, 챗봇 서빙에서 2.8배 낮은 대기 시간 및 합성 데이터 생성에서 6.5배 높은 처리량을 보여주는 중요한 응용 프로그램에서 상당한 성능 향상을 보여줍니다. 코드는 https://github.com/hao-ai-lab/vllm-ltr.git에서 사용할 수 있습니다.

English

In Large Language Model (LLM) inference, the output length of an LLM request is typically regarded as not known a priori. Consequently, most LLM serving systems employ a simple First-come-first-serve (FCFS) scheduling strategy, leading to Head-Of-Line (HOL) blocking and reduced throughput and service quality. In this paper, we reexamine this assumption -- we show that, although predicting the exact generation length of each request is infeasible, it is possible to predict the relative ranks of output lengths in a batch of requests, using learning to rank. The ranking information offers valuable guidance for scheduling requests. Building on this insight, we develop a novel scheduler for LLM inference and serving that can approximate the shortest-job-first (SJF) schedule better than existing approaches. We integrate this scheduler with the state-of-the-art LLM serving system and show significant performance improvement in several important applications: 2.8x lower latency in chatbot serving and 6.5x higher throughput in synthetic data generation. Our code is available at https://github.com/hao-ai-lab/vllm-ltr.git