Autellix: 汎用プログラムとしてのLLMエージェントのための効率的なサービスエンジン

Autellix: An Efficient Serving Engine for LLM Agents as General Programs

February 19, 2025

著者: Michael Luo, Xiaoxiang Shi, Colin Cai, Tianjun Zhang, Justin Wong, Yichuan Wang, Chi Wang, Yanping Huang, Zhifeng Chen, Joseph E. Gonzalez, Ion Stoica

cs.AI

要旨

大規模言語モデル（LLM）アプリケーションは、単純なチャットボットを超えて、動的で汎用的なエージェント型プログラムへと進化しています。これらのプログラムは、LLMの呼び出しと出力トークンをスケーリングし、AIエージェントが推論、探索、複雑なタスクの解決を支援します。しかし、既存のLLM提供システムは、プログラム間および呼び出し間の依存関係を無視しており、最適化の重要な機会を逃しています。私たちの分析によると、LLM提供エンジンに送信されるプログラムは、個々のLLMリクエストおよびプログラムレベルでのヘッドオブラインブロッキングにより、累積的な待ち時間が長くなることが明らかになりました。この問題に対処するため、私たちはAutellixを導入します。Autellixは、プログラムを第一級市民として扱い、エンドツーエンドの遅延を最小化するLLM提供システムです。Autellixは、プログラムによって送信されたLLM呼び出しをインターセプトし、スケジューラにプログラムレベルのコンテキストを追加します。私たちは、シングルスレッドおよび分散プログラム向けの2つのスケジューリングアルゴリズムを提案します。これらのアルゴリズムは、プログラムの以前に完了した呼び出しに基づいてLLM呼び出しをプリエンプトし、優先順位を付けます。評価の結果、多様なLLMおよびエージェント型ワークロードにおいて、Autellixは、vLLMなどの最先端システムと比較して、同じ遅延でプログラムのスループットを4～15倍向上させることが示されました。

English

Large language model (LLM) applications are evolving beyond simple chatbots into dynamic, general-purpose agentic programs, which scale LLM calls and output tokens to help AI agents reason, explore, and solve complex tasks. However, existing LLM serving systems ignore dependencies between programs and calls, missing significant opportunities for optimization. Our analysis reveals that programs submitted to LLM serving engines experience long cumulative wait times, primarily due to head-of-line blocking at both the individual LLM request and the program. To address this, we introduce Autellix, an LLM serving system that treats programs as first-class citizens to minimize their end-to-end latencies. Autellix intercepts LLM calls submitted by programs, enriching schedulers with program-level context. We propose two scheduling algorithms-for single-threaded and distributed programs-that preempt and prioritize LLM calls based on their programs' previously completed calls. Our evaluation demonstrates that across diverse LLMs and agentic workloads, Autellix improves throughput of programs by 4-15x at the same latency compared to state-of-the-art systems, such as vLLM.