大規模言語モデルの推論エンジンに関する調査：最適化と効率性の観点から

要旨

大規模言語モデル（LLMs）は、チャットボット、コード生成器、検索エンジンなどに広く応用されています。連鎖思考（chain-of-thought）、複雑な推論、エージェントサービスなどのワークロードは、モデルを繰り返し呼び出すことで推論コストを大幅に増加させます。並列化、圧縮、キャッシュなどの最適化手法がコスト削減のために採用されていますが、多様なサービス要件により適切な手法を選択することが困難です。最近では、専用のLLM推論エンジンが、最適化手法をサービス指向のインフラに統合するための重要なコンポーネントとして登場しています。しかし、推論エンジンに関する体系的な研究はまだ不足しています。本論文では、25のオープンソースおよび商用推論エンジンを包括的に評価します。各推論エンジンを、使いやすさ、デプロイの容易さ、汎用性のサポート、スケーラビリティ、スループットおよびレイテンシを意識した計算の適合性の観点から検証します。さらに、各推論エンジンの設計目標を、サポートする最適化技術を調査することで探ります。加えて、オープンソース推論エンジンのエコシステムの成熟度を評価し、商用ソリューションのパフォーマンスとコストポリシーを扱います。複雑なLLMベースのサービスのサポート、様々なハードウェアのサポート、セキュリティの強化など、将来の研究方向性を概説し、研究者や開発者が最適化されたLLM推論エンジンを選択・設計するための実践的なガイダンスを提供します。また、この急速に進化する分野の進展を継続的に追跡するための公開リポジトリを提供します： https://github.com/sihyeong/Awesome-LLM-Inference-Engine

English

Large language models (LLMs) are widely applied in chatbots, code generators, and search engines. Workloads such as chain-of-thought, complex reasoning, and agent services significantly increase the inference cost by invoking the model repeatedly. Optimization methods such as parallelism, compression, and caching have been adopted to reduce costs, but the diverse service requirements make it hard to select the right method. Recently, specialized LLM inference engines have emerged as a key component for integrating the optimization methods into service-oriented infrastructures. However, a systematic study on inference engines is still lacking. This paper provides a comprehensive evaluation of 25 open-source and commercial inference engines. We examine each inference engine in terms of ease-of-use, ease-of-deployment, general-purpose support, scalability, and suitability for throughput- and latency-aware computation. Furthermore, we explore the design goals of each inference engine by investigating the optimization techniques it supports. In addition, we assess the ecosystem maturity of open source inference engines and handle the performance and cost policy of commercial solutions. We outline future research directions that include support for complex LLM-based services, support of various hardware, and enhanced security, offering practical guidance to researchers and developers in selecting and designing optimized LLM inference engines. We also provide a public repository to continually track developments in this fast-evolving field: https://github.com/sihyeong/Awesome-LLM-Inference-Engine

大規模言語モデルの推論エンジンに関する調査：最適化と効率性の観点から

A Survey on Inference Engines for Large Language Models: Perspectives on Optimization and Efficiency

要旨

Support