Domare i Titani: Un'analisi sull'efficiente erogazione dell'inferenza nei grandi modelli linguistici

Taming the Titans: A Survey of Efficient LLM Inference Serving

April 28, 2025

Autori: Ranran Zhen, Juntao Li, Yixin Ji, Zhenlin Yang, Tong Liu, Qingrong Xia, Xinyu Duan, Zhefeng Wang, Baoxing Huai, Min Zhang

cs.AI

Abstract

I Large Language Models (LLMs) per la Generative AI hanno raggiunto progressi notevoli, evolvendosi in strumenti sofisticati e versatili ampiamente adottati in vari domini e applicazioni. Tuttavia, l'ingente sovraccarico di memoria causato dal loro vasto numero di parametri, combinato con le elevate esigenze computazionali del meccanismo di attenzione, rappresenta sfide significative nel raggiungimento di bassa latenza e alto throughput per i servizi di inferenza degli LLM. Recenti progressi, guidati da ricerche pionieristiche, hanno accelerato significativamente l'avanzamento in questo campo. Questo articolo fornisce una rassegna completa di questi metodi, coprendo approcci fondamentali a livello di istanza, strategie approfondite a livello di cluster, direzioni emergenti per scenari specifici e altre aree secondarie ma importanti. A livello di istanza, esaminiamo il posizionamento del modello, la schedulazione delle richieste, la previsione della lunghezza di decodifica, la gestione dello storage e il paradigma di disaggregazione. A livello di cluster, esploriamo il deployment di cluster GPU, il bilanciamento del carico multi-istanza e le soluzioni di servizi cloud. Per gli scenari emergenti, organizziamo la discussione attorno a task specifici, moduli e metodi ausiliari. Per garantire una visione olistica, evidenziamo anche diverse aree di nicchia ma critiche. Infine, delineiamo potenziali direzioni di ricerca per ulteriori avanzamenti nel campo del servizio di inferenza degli LLM.

English

Large Language Models (LLMs) for Generative AI have achieved remarkable progress, evolving into sophisticated and versatile tools widely adopted across various domains and applications. However, the substantial memory overhead caused by their vast number of parameters, combined with the high computational demands of the attention mechanism, poses significant challenges in achieving low latency and high throughput for LLM inference services. Recent advancements, driven by groundbreaking research, have significantly accelerated progress in this field. This paper provides a comprehensive survey of these methods, covering fundamental instance-level approaches, in-depth cluster-level strategies, emerging scenario directions, and other miscellaneous but important areas. At the instance level, we review model placement, request scheduling, decoding length prediction, storage management, and the disaggregation paradigm. At the cluster level, we explore GPU cluster deployment, multi-instance load balancing, and cloud service solutions. For emerging scenarios, we organize the discussion around specific tasks, modules, and auxiliary methods. To ensure a holistic overview, we also highlight several niche yet critical areas. Finally, we outline potential research directions to further advance the field of LLM inference serving.