Dompter les Titans : Un panorama des techniques efficaces pour le service d'inférence des grands modèles de langage

Taming the Titans: A Survey of Efficient LLM Inference Serving

April 28, 2025

Auteurs: Ranran Zhen, Juntao Li, Yixin Ji, Zhenlin Yang, Tong Liu, Qingrong Xia, Xinyu Duan, Zhefeng Wang, Baoxing Huai, Min Zhang

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) pour l'IA générative ont réalisé des progrès remarquables, évoluant en des outils sophistiqués et polyvalents largement adoptés dans divers domaines et applications. Cependant, la surcharge mémoire substantielle causée par leur grand nombre de paramètres, combinée aux exigences computationnelles élevées du mécanisme d'attention, pose des défis importants pour atteindre une faible latence et un haut débit dans les services d'inférence des LLMs. Les avancées récentes, motivées par des recherches innovantes, ont considérablement accéléré les progrès dans ce domaine. Cet article propose une revue exhaustive de ces méthodes, couvrant les approches fondamentales au niveau des instances, les stratégies approfondies au niveau des clusters, les directions émergentes de scénarios, ainsi que d'autres domaines divers mais importants. Au niveau des instances, nous examinons le placement des modèles, l'ordonnancement des requêtes, la prédiction de la longueur de décodage, la gestion du stockage et le paradigme de désagrégation. Au niveau des clusters, nous explorons le déploiement de clusters GPU, l'équilibrage de charge multi-instances et les solutions de services cloud. Pour les scénarios émergents, nous organisons la discussion autour de tâches spécifiques, de modules et de méthodes auxiliaires. Pour garantir une vue d'ensemble holistique, nous mettons également en lumière plusieurs domaines de niche mais critiques. Enfin, nous esquissons des directions de recherche potentielles pour faire progresser davantage le domaine de l'inférence des LLMs.

English

Large Language Models (LLMs) for Generative AI have achieved remarkable progress, evolving into sophisticated and versatile tools widely adopted across various domains and applications. However, the substantial memory overhead caused by their vast number of parameters, combined with the high computational demands of the attention mechanism, poses significant challenges in achieving low latency and high throughput for LLM inference services. Recent advancements, driven by groundbreaking research, have significantly accelerated progress in this field. This paper provides a comprehensive survey of these methods, covering fundamental instance-level approaches, in-depth cluster-level strategies, emerging scenario directions, and other miscellaneous but important areas. At the instance level, we review model placement, request scheduling, decoding length prediction, storage management, and the disaggregation paradigm. At the cluster level, we explore GPU cluster deployment, multi-instance load balancing, and cloud service solutions. For emerging scenarios, we organize the discussion around specific tasks, modules, and auxiliary methods. To ensure a holistic overview, we also highlight several niche yet critical areas. Finally, we outline potential research directions to further advance the field of LLM inference serving.