Het temmen van de titanen: Een overzicht van efficiënte LLM-inferentiebediening

Taming the Titans: A Survey of Efficient LLM Inference Serving

April 28, 2025

Auteurs: Ranran Zhen, Juntao Li, Yixin Ji, Zhenlin Yang, Tong Liu, Qingrong Xia, Xinyu Duan, Zhefeng Wang, Baoxing Huai, Min Zhang

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) voor Generatieve AI hebben opmerkelijke vooruitgang geboekt en zijn geëvolueerd tot geavanceerde en veelzijdige tools die breed worden toegepast in verschillende domeinen en toepassingen. De aanzienlijke geheugenoverhead veroorzaakt door hun enorme aantal parameters, gecombineerd met de hoge rekenkundige eisen van het aandachtmechanisme, vormt echter aanzienlijke uitdagingen bij het bereiken van lage latentie en hoge doorvoer voor LLM-inferentiediensten. Recente doorbraken, aangedreven door baanbrekend onderzoek, hebben de vooruitgang op dit gebied aanzienlijk versneld. Dit artikel biedt een uitgebreid overzicht van deze methoden, waarbij fundamentele benaderingen op instantieniveau, diepgaande strategieën op clusterniveau, opkomende scenario-richtingen en andere diverse maar belangrijke gebieden worden behandeld. Op instantieniveau bespreken we modelplaatsing, aanvraagplanning, decoderinglengtevoorspelling, opslagbeheer en het disaggregatieparadigma. Op clusterniveau onderzoeken we GPU-clusterimplementatie, multi-instantiebelastingsverdeling en cloudserviceoplossingen. Voor opkomende scenario's organiseren we de discussie rond specifieke taken, modules en aanvullende methoden. Om een holistisch overzicht te waarborgen, belichten we ook verschillende niche maar kritieke gebieden. Tot slot schetsen we potentiële onderzoeksrichtingen om het veld van LLM-inferentiebediening verder te bevorderen.

English

Large Language Models (LLMs) for Generative AI have achieved remarkable progress, evolving into sophisticated and versatile tools widely adopted across various domains and applications. However, the substantial memory overhead caused by their vast number of parameters, combined with the high computational demands of the attention mechanism, poses significant challenges in achieving low latency and high throughput for LLM inference services. Recent advancements, driven by groundbreaking research, have significantly accelerated progress in this field. This paper provides a comprehensive survey of these methods, covering fundamental instance-level approaches, in-depth cluster-level strategies, emerging scenario directions, and other miscellaneous but important areas. At the instance level, we review model placement, request scheduling, decoding length prediction, storage management, and the disaggregation paradigm. At the cluster level, we explore GPU cluster deployment, multi-instance load balancing, and cloud service solutions. For emerging scenarios, we organize the discussion around specific tasks, modules, and auxiliary methods. To ensure a holistic overview, we also highlight several niche yet critical areas. Finally, we outline potential research directions to further advance the field of LLM inference serving.