Um Estudo sobre Mecanismos de Inferência para Modelos de Linguagem de Grande Escala: Perspectivas sobre Otimização e Eficiência

A Survey on Inference Engines for Large Language Models: Perspectives on Optimization and Efficiency

May 3, 2025

Autores: Sihyeong Park, Sungryeol Jeon, Chaelyn Lee, Seokhun Jeon, Byung-Soo Kim, Jemin Lee

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) são amplamente aplicados em chatbots, geradores de código e motores de busca. Cargas de trabalho como cadeia de pensamento, raciocínio complexo e serviços de agentes aumentam significativamente o custo de inferência ao invocar o modelo repetidamente. Métodos de otimização como paralelismo, compressão e cache foram adotados para reduzir custos, mas os diversos requisitos de serviço tornam difícil selecionar o método adequado. Recentemente, motores de inferência especializados para LLMs surgiram como um componente-chave para integrar os métodos de otimização em infraestruturas orientadas a serviços. No entanto, ainda falta um estudo sistemático sobre motores de inferência. Este artigo fornece uma avaliação abrangente de 25 motores de inferência de código aberto e comerciais. Examinamos cada motor de inferência em termos de facilidade de uso, facilidade de implantação, suporte para propósitos gerais, escalabilidade e adequação para computação consciente de taxa de transferência e latência. Além disso, exploramos os objetivos de design de cada motor de inferência investigando as técnicas de otimização que ele suporta. Adicionalmente, avaliamos a maturidade do ecossistema dos motores de inferência de código aberto e lidamos com a política de desempenho e custo das soluções comerciais. Delineamos direções futuras de pesquisa que incluem suporte para serviços complexos baseados em LLMs, suporte para diversos hardwares e segurança aprimorada, oferecendo orientação prática para pesquisadores e desenvolvedores na seleção e projeto de motores de inferência de LLMs otimizados. Também fornecemos um repositório público para acompanhar continuamente os desenvolvimentos neste campo em rápida evolução: https://github.com/sihyeong/Awesome-LLM-Inference-Engine

English

Large language models (LLMs) are widely applied in chatbots, code generators, and search engines. Workloads such as chain-of-thought, complex reasoning, and agent services significantly increase the inference cost by invoking the model repeatedly. Optimization methods such as parallelism, compression, and caching have been adopted to reduce costs, but the diverse service requirements make it hard to select the right method. Recently, specialized LLM inference engines have emerged as a key component for integrating the optimization methods into service-oriented infrastructures. However, a systematic study on inference engines is still lacking. This paper provides a comprehensive evaluation of 25 open-source and commercial inference engines. We examine each inference engine in terms of ease-of-use, ease-of-deployment, general-purpose support, scalability, and suitability for throughput- and latency-aware computation. Furthermore, we explore the design goals of each inference engine by investigating the optimization techniques it supports. In addition, we assess the ecosystem maturity of open source inference engines and handle the performance and cost policy of commercial solutions. We outline future research directions that include support for complex LLM-based services, support of various hardware, and enhanced security, offering practical guidance to researchers and developers in selecting and designing optimized LLM inference engines. We also provide a public repository to continually track developments in this fast-evolving field: https://github.com/sihyeong/Awesome-LLM-Inference-Engine