Autellix: Эффективный механизм обслуживания агентов на основе больших языковых моделей как универсальных программ

Autellix: An Efficient Serving Engine for LLM Agents as General Programs

February 19, 2025

Авторы: Michael Luo, Xiaoxiang Shi, Colin Cai, Tianjun Zhang, Justin Wong, Yichuan Wang, Chi Wang, Yanping Huang, Zhifeng Chen, Joseph E. Gonzalez, Ion Stoica

cs.AI

Аннотация

Приложения, основанные на больших языковых моделях (LLM), эволюционируют за пределы простых чат-ботов, превращаясь в динамические, универсальные агентские программы, которые масштабируют вызовы LLM и выходные токены, чтобы помочь ИИ-агентам рассуждать, исследовать и решать сложные задачи. Однако существующие системы обслуживания LLM игнорируют зависимости между программами и вызовами, упуская значительные возможности для оптимизации. Наш анализ показывает, что программы, отправленные в системы обслуживания LLM, сталкиваются с длительными совокупными временами ожидания, в основном из-за блокировки в начале очереди как на уровне отдельных запросов LLM, так и на уровне программы. Для решения этой проблемы мы представляем Autellix — систему обслуживания LLM, которая рассматривает программы как объекты первого класса, чтобы минимизировать их сквозные задержки. Autellix перехватывает вызовы LLM, отправленные программами, обогащая планировщики контекстом на уровне программы. Мы предлагаем два алгоритма планирования — для однопоточных и распределенных программ, — которые прерывают и приоритизируют вызовы LLM на основе ранее завершенных вызовов их программ. Наши оценки показывают, что для различных LLM и агентских рабочих нагрузок Autellix повышает пропускную способность программ в 4–15 раз при той же задержке по сравнению с передовыми системами, такими как vLLM.

English

Large language model (LLM) applications are evolving beyond simple chatbots into dynamic, general-purpose agentic programs, which scale LLM calls and output tokens to help AI agents reason, explore, and solve complex tasks. However, existing LLM serving systems ignore dependencies between programs and calls, missing significant opportunities for optimization. Our analysis reveals that programs submitted to LLM serving engines experience long cumulative wait times, primarily due to head-of-line blocking at both the individual LLM request and the program. To address this, we introduce Autellix, an LLM serving system that treats programs as first-class citizens to minimize their end-to-end latencies. Autellix intercepts LLM calls submitted by programs, enriching schedulers with program-level context. We propose two scheduling algorithms-for single-threaded and distributed programs-that preempt and prioritize LLM calls based on their programs' previously completed calls. Our evaluation demonstrates that across diverse LLMs and agentic workloads, Autellix improves throughput of programs by 4-15x at the same latency compared to state-of-the-art systems, such as vLLM.