Укрощение титанов: обзор эффективного обслуживания вывода больших языковых моделей

Taming the Titans: A Survey of Efficient LLM Inference Serving

April 28, 2025

Авторы: Ranran Zhen, Juntao Li, Yixin Ji, Zhenlin Yang, Tong Liu, Qingrong Xia, Xinyu Duan, Zhefeng Wang, Baoxing Huai, Min Zhang

cs.AI

Аннотация

Большие языковые модели (LLM) для генеративного ИИ достигли значительного прогресса, превратившись в сложные и универсальные инструменты, широко применяемые в различных областях и приложениях. Однако значительные затраты памяти, вызванные огромным количеством параметров, в сочетании с высокими вычислительными требованиями механизма внимания, создают серьезные проблемы для достижения низкой задержки и высокой пропускной способности в сервисах вывода LLM. Последние достижения, обусловленные революционными исследованиями, значительно ускорили прогресс в этой области. В данной статье представлен всесторонний обзор этих методов, охватывающий фундаментальные подходы на уровне экземпляров, углубленные стратегии на уровне кластеров, новые направления в сценариях и другие важные, хотя и менее распространенные области. На уровне экземпляров мы рассматриваем размещение моделей, планирование запросов, прогнозирование длины декодирования, управление хранилищем и парадигму разделения. На уровне кластеров исследуются развертывание GPU-кластеров, балансировка нагрузки между несколькими экземплярами и решения для облачных сервисов. В рамках новых сценариев обсуждение организовано вокруг конкретных задач, модулей и вспомогательных методов. Чтобы обеспечить целостный обзор, мы также выделяем несколько узкоспециализированных, но критически важных областей. Наконец, мы намечаем потенциальные направления исследований для дальнейшего развития области обслуживания вывода LLM.

English

Large Language Models (LLMs) for Generative AI have achieved remarkable progress, evolving into sophisticated and versatile tools widely adopted across various domains and applications. However, the substantial memory overhead caused by their vast number of parameters, combined with the high computational demands of the attention mechanism, poses significant challenges in achieving low latency and high throughput for LLM inference services. Recent advancements, driven by groundbreaking research, have significantly accelerated progress in this field. This paper provides a comprehensive survey of these methods, covering fundamental instance-level approaches, in-depth cluster-level strategies, emerging scenario directions, and other miscellaneous but important areas. At the instance level, we review model placement, request scheduling, decoding length prediction, storage management, and the disaggregation paradigm. At the cluster level, we explore GPU cluster deployment, multi-instance load balancing, and cloud service solutions. For emerging scenarios, we organize the discussion around specific tasks, modules, and auxiliary methods. To ensure a holistic overview, we also highlight several niche yet critical areas. Finally, we outline potential research directions to further advance the field of LLM inference serving.