Domando os Titãs: Uma Análise sobre a Inferência Eficiente de Modelos de Linguagem de Grande Escala

Taming the Titans: A Survey of Efficient LLM Inference Serving

April 28, 2025

Autores: Ranran Zhen, Juntao Li, Yixin Ji, Zhenlin Yang, Tong Liu, Qingrong Xia, Xinyu Duan, Zhefeng Wang, Baoxing Huai, Min Zhang

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) para IA Generativa alcançaram progressos notáveis, evoluindo para ferramentas sofisticadas e versáteis amplamente adotadas em diversos domínios e aplicações. No entanto, a sobrecarga significativa de memória causada pelo vasto número de parâmetros, combinada com as altas demandas computacionais do mecanismo de atenção, apresenta desafios substanciais para alcançar baixa latência e alta taxa de transferência em serviços de inferência de LLMs. Avanços recentes, impulsionados por pesquisas inovadoras, aceleraram significativamente o progresso nesse campo. Este artigo fornece uma revisão abrangente desses métodos, cobrindo abordagens fundamentais em nível de instância, estratégias aprofundadas em nível de cluster, direções emergentes de cenários e outras áreas diversas, porém importantes. No nível de instância, revisamos o posicionamento do modelo, o agendamento de solicitações, a previsão de comprimento de decodificação, o gerenciamento de armazenamento e o paradigma de desagregação. No nível de cluster, exploramos a implantação de clusters de GPU, o balanceamento de carga de múltiplas instâncias e soluções de serviços em nuvem. Para cenários emergentes, organizamos a discussão em torno de tarefas específicas, módulos e métodos auxiliares. Para garantir uma visão holística, também destacamos várias áreas de nicho, porém críticas. Por fim, delineamos possíveis direções de pesquisa para avançar ainda mais o campo de serviços de inferência de LLMs.

English

Large Language Models (LLMs) for Generative AI have achieved remarkable progress, evolving into sophisticated and versatile tools widely adopted across various domains and applications. However, the substantial memory overhead caused by their vast number of parameters, combined with the high computational demands of the attention mechanism, poses significant challenges in achieving low latency and high throughput for LLM inference services. Recent advancements, driven by groundbreaking research, have significantly accelerated progress in this field. This paper provides a comprehensive survey of these methods, covering fundamental instance-level approaches, in-depth cluster-level strategies, emerging scenario directions, and other miscellaneous but important areas. At the instance level, we review model placement, request scheduling, decoding length prediction, storage management, and the disaggregation paradigm. At the cluster level, we explore GPU cluster deployment, multi-instance load balancing, and cloud service solutions. For emerging scenarios, we organize the discussion around specific tasks, modules, and auxiliary methods. To ensure a holistic overview, we also highlight several niche yet critical areas. Finally, we outline potential research directions to further advance the field of LLM inference serving.