Ordonnancement efficace de LLM par apprentissage pour le classement

Efficient LLM Scheduling by Learning to Rank

August 28, 2024

Auteurs: Yichao Fu, Siqi Zhu, Runlong Su, Aurick Qiao, Ion Stoica, Hao Zhang

cs.AI

Résumé

Dans l'inférence de grands modèles de langage (LLM), la longueur de sortie d'une requête LLM est généralement considérée comme inconnue a priori. Par conséquent, la plupart des systèmes de traitement LLM utilisent une stratégie de planification simple de type premier arrivé, premier servi (FCFS), entraînant un blocage de tête de ligne (HOL) et une réduction du débit et de la qualité de service. Dans cet article, nous réexaminons cette hypothèse -- nous montrons que, bien qu'il soit impossible de prédire la longueur exacte de génération de chaque requête, il est possible de prédire les rangs relatifs des longueurs de sortie dans un lot de requêtes, en utilisant l'apprentissage pour le classement. Les informations de classement offrent des orientations précieuses pour la planification des requêtes. En nous appuyant sur cette observation, nous développons un nouveau planificateur pour l'inférence et le traitement LLM qui peut mieux approximer le calendrier du plus court travail d'abord (SJF) que les approches existantes. Nous intégrons ce planificateur avec le système de traitement LLM de pointe et montrons une amélioration significative des performances dans plusieurs applications importantes : une réduction de 2,8 fois de la latence dans le traitement des chatbots et une augmentation de 6,5 fois du débit dans la génération de données synthétiques. Notre code est disponible sur https://github.com/hao-ai-lab/vllm-ltr.git

English

In Large Language Model (LLM) inference, the output length of an LLM request is typically regarded as not known a priori. Consequently, most LLM serving systems employ a simple First-come-first-serve (FCFS) scheduling strategy, leading to Head-Of-Line (HOL) blocking and reduced throughput and service quality. In this paper, we reexamine this assumption -- we show that, although predicting the exact generation length of each request is infeasible, it is possible to predict the relative ranks of output lengths in a batch of requests, using learning to rank. The ranking information offers valuable guidance for scheduling requests. Building on this insight, we develop a novel scheduler for LLM inference and serving that can approximate the shortest-job-first (SJF) schedule better than existing approaches. We integrate this scheduler with the state-of-the-art LLM serving system and show significant performance improvement in several important applications: 2.8x lower latency in chatbot serving and 6.5x higher throughput in synthetic data generation. Our code is available at https://github.com/hao-ai-lab/vllm-ltr.git