Effiziente LLM-Planung durch Lernen, um zu ordnen.

Efficient LLM Scheduling by Learning to Rank

August 28, 2024

Autoren: Yichao Fu, Siqi Zhu, Runlong Su, Aurick Qiao, Ion Stoica, Hao Zhang

cs.AI

Zusammenfassung

Bei der Inferenz großer Sprachmodelle (Large Language Model, LLM) wird die Ausgabelänge einer LLM-Anfrage in der Regel als nicht im Voraus bekannt angesehen. Folglich verwenden die meisten LLM-Systeme eine einfache "First-come-first-serve" (FCFS) Zeitplanungsstrategie, die zu Head-Of-Line (HOL) Blockaden und einer verringerten Durchsatzrate und Servicequalität führt. In diesem Paper überprüfen wir diese Annahme erneut - wir zeigen, dass es zwar nicht möglich ist, die genaue Generierungslänge jeder Anfrage vorherzusagen, jedoch die relativen Ränge der Ausgabelängen in einer Stapelverarbeitung von Anfragen mithilfe des Lernens zur Rangordnung vorhergesagt werden können. Die Ranginformationen bieten wertvolle Anleitung für die Zeitplanung von Anfragen. Basierend auf dieser Erkenntnis entwickeln wir einen neuartigen Zeitplaner für LLM-Inferenz und -Service, der den "Shortest-Job-First" (SJF) Zeitplan besser approximieren kann als bestehende Ansätze. Wir integrieren diesen Zeitplaner in das hochmoderne LLM-Service-System und zeigen signifikante Leistungsverbesserungen in mehreren wichtigen Anwendungen: 2,8-fach niedrigere Latenz bei Chatbot-Service und 6,5-fach höherer Durchsatz bei der Generierung synthetischer Daten. Unser Code ist verfügbar unter https://github.com/hao-ai-lab/vllm-ltr.git.

English

In Large Language Model (LLM) inference, the output length of an LLM request is typically regarded as not known a priori. Consequently, most LLM serving systems employ a simple First-come-first-serve (FCFS) scheduling strategy, leading to Head-Of-Line (HOL) blocking and reduced throughput and service quality. In this paper, we reexamine this assumption -- we show that, although predicting the exact generation length of each request is infeasible, it is possible to predict the relative ranks of output lengths in a batch of requests, using learning to rank. The ranking information offers valuable guidance for scheduling requests. Building on this insight, we develop a novel scheduler for LLM inference and serving that can approximate the shortest-job-first (SJF) schedule better than existing approaches. We integrate this scheduler with the state-of-the-art LLM serving system and show significant performance improvement in several important applications: 2.8x lower latency in chatbot serving and 6.5x higher throughput in synthetic data generation. Our code is available at https://github.com/hao-ai-lab/vllm-ltr.git