Autellix: Een efficiënte serveringsengine voor LLM-agents als algemene programma's

Autellix: An Efficient Serving Engine for LLM Agents as General Programs

February 19, 2025

Auteurs: Michael Luo, Xiaoxiang Shi, Colin Cai, Tianjun Zhang, Justin Wong, Yichuan Wang, Chi Wang, Yanping Huang, Zhifeng Chen, Joseph E. Gonzalez, Ion Stoica

cs.AI

Samenvatting

Grootschalige taalmodel (LLM) applicaties ontwikkelen zich verder dan eenvoudige chatbots naar dynamische, algemene agentische programma's, die LLM-aanroepen en uitvoertokens schalen om AI-agenten te helpen redeneren, verkennen en complexe taken op te lossen. Echter negeren bestaande LLM-serversystemen de afhankelijkheden tussen programma's en aanroepen, waardoor significante optimalisatiemogelijkheden worden gemist. Onze analyse toont aan dat programma's die worden ingediend bij LLM-serversystemen lange cumulatieve wachttijden ervaren, voornamelijk door head-of-line blocking op zowel het niveau van individuele LLM-aanvragen als het programma. Om dit aan te pakken introduceren we Autellix, een LLM-serversysteem dat programma's als eersteklas burgers behandelt om hun end-to-end latenties te minimaliseren. Autellix onderschept LLM-aanroepen die door programma's worden ingediend en verrijkt planners met context op programmaniveau. We stellen twee planningsalgoritmen voor - voor single-threaded en gedistribueerde programma's - die LLM-aanroepen onderbreken en prioriteren op basis van eerder voltooide aanroepen van hun programma's. Onze evaluatie toont aan dat Autellix, over diverse LLM's en agentische workloads, de doorvoer van programma's met 4-15x verbetert bij dezelfde latentie vergeleken met state-of-the-art systemen, zoals vLLM.

English

Large language model (LLM) applications are evolving beyond simple chatbots into dynamic, general-purpose agentic programs, which scale LLM calls and output tokens to help AI agents reason, explore, and solve complex tasks. However, existing LLM serving systems ignore dependencies between programs and calls, missing significant opportunities for optimization. Our analysis reveals that programs submitted to LLM serving engines experience long cumulative wait times, primarily due to head-of-line blocking at both the individual LLM request and the program. To address this, we introduce Autellix, an LLM serving system that treats programs as first-class citizens to minimize their end-to-end latencies. Autellix intercepts LLM calls submitted by programs, enriching schedulers with program-level context. We propose two scheduling algorithms-for single-threaded and distributed programs-that preempt and prioritize LLM calls based on their programs' previously completed calls. Our evaluation demonstrates that across diverse LLMs and agentic workloads, Autellix improves throughput of programs by 4-15x at the same latency compared to state-of-the-art systems, such as vLLM.