Een overzicht van inferentie-engines voor grote taalmodelen: perspectieven op optimalisatie en efficiëntie

A Survey on Inference Engines for Large Language Models: Perspectives on Optimization and Efficiency

May 3, 2025

Auteurs: Sihyeong Park, Sungryeol Jeon, Chaelyn Lee, Seokhun Jeon, Byung-Soo Kim, Jemin Lee

cs.AI

Samenvatting

Grote taalmodellen (LLMs) worden veelvuldig toegepast in chatbots, codegeneratoren en zoekmachines. Workloads zoals chain-of-thought, complex redeneren en agentservices verhogen de inferentiekosten aanzienlijk door het model herhaaldelijk aan te roepen. Optimalisatiemethoden zoals parallelisatie, compressie en caching zijn ingezet om de kosten te verlagen, maar de diverse servicerequirements maken het moeilijk om de juiste methode te selecteren. Recent zijn gespecialiseerde LLM-inferentie-engines opgekomen als een cruciaal onderdeel voor het integreren van de optimalisatiemethoden in servicegerichte infrastructuur. Een systematische studie naar inferentie-engines ontbreekt echter nog. Dit paper biedt een uitgebreide evaluatie van 25 open-source en commerciële inferentie-engines. We onderzoeken elke inferentie-engine op gebruiksvriendelijkheid, implementatiegemak, ondersteuning voor algemene doeleinden, schaalbaarheid en geschiktheid voor doorvoer- en latentiebewuste berekeningen. Daarnaast verkennen we de ontwerpdoelen van elke inferentie-engine door de ondersteunde optimalisatietechnieken te onderzoeken. Bovendien beoordelen we de ecosysteemrijpheid van open-source inferentie-engines en behandelen we het prestatie- en kostenbeleid van commerciële oplossingen. We schetsen toekomstige onderzoeksrichtingen, waaronder ondersteuning voor complexe LLM-gebaseerde services, ondersteuning van diverse hardware en verbeterde beveiliging, en bieden praktische richtlijnen voor onderzoekers en ontwikkelaars bij het selecteren en ontwerpen van geoptimaliseerde LLM-inferentie-engines. We bieden ook een openbare repository om ontwikkelingen in dit snel evoluerende veld continu te volgen: https://github.com/sihyeong/Awesome-LLM-Inference-Engine.

English

Large language models (LLMs) are widely applied in chatbots, code generators, and search engines. Workloads such as chain-of-thought, complex reasoning, and agent services significantly increase the inference cost by invoking the model repeatedly. Optimization methods such as parallelism, compression, and caching have been adopted to reduce costs, but the diverse service requirements make it hard to select the right method. Recently, specialized LLM inference engines have emerged as a key component for integrating the optimization methods into service-oriented infrastructures. However, a systematic study on inference engines is still lacking. This paper provides a comprehensive evaluation of 25 open-source and commercial inference engines. We examine each inference engine in terms of ease-of-use, ease-of-deployment, general-purpose support, scalability, and suitability for throughput- and latency-aware computation. Furthermore, we explore the design goals of each inference engine by investigating the optimization techniques it supports. In addition, we assess the ecosystem maturity of open source inference engines and handle the performance and cost policy of commercial solutions. We outline future research directions that include support for complex LLM-based services, support of various hardware, and enhanced security, offering practical guidance to researchers and developers in selecting and designing optimized LLM inference engines. We also provide a public repository to continually track developments in this fast-evolving field: https://github.com/sihyeong/Awesome-LLM-Inference-Engine