巨人を飼いならす：効率的なLLM推論サービングの調査

要旨

生成AIのための大規模言語モデル（LLM）は目覚ましい進歩を遂げ、洗練され多用途なツールとして様々な分野やアプリケーションで広く採用されています。しかし、その膨大なパラメータ数によるメモリオーバーヘッドと、アテンションメカニズムの高い計算要求が相まって、LLM推論サービスの低レイテンシと高スループットの実現には大きな課題が残されています。最近の画期的な研究に牽引された進展により、この分野の進歩は大幅に加速しています。本論文では、これらの手法を包括的に調査し、基本的なインスタンスレベルのアプローチ、詳細なクラスターレベルの戦略、新興シナリオの方向性、その他重要ながらも多岐にわたる領域を網羅しています。インスタンスレベルでは、モデル配置、リクエストスケジューリング、デコード長予測、ストレージ管理、およびディスアグリゲーションパラダイムを検討します。クラスターレベルでは、GPUクラスターの展開、マルチインスタンスの負荷分散、クラウドサービスソリューションを探ります。新興シナリオについては、特定のタスク、モジュール、補助方法を中心に議論を整理します。全体像を確保するため、いくつかのニッチながらも重要な領域にも焦点を当てます。最後に、LLM推論サービスの分野をさらに前進させるための潜在的な研究方向性を概説します。

English

Large Language Models (LLMs) for Generative AI have achieved remarkable progress, evolving into sophisticated and versatile tools widely adopted across various domains and applications. However, the substantial memory overhead caused by their vast number of parameters, combined with the high computational demands of the attention mechanism, poses significant challenges in achieving low latency and high throughput for LLM inference services. Recent advancements, driven by groundbreaking research, have significantly accelerated progress in this field. This paper provides a comprehensive survey of these methods, covering fundamental instance-level approaches, in-depth cluster-level strategies, emerging scenario directions, and other miscellaneous but important areas. At the instance level, we review model placement, request scheduling, decoding length prediction, storage management, and the disaggregation paradigm. At the cluster level, we explore GPU cluster deployment, multi-instance load balancing, and cloud service solutions. For emerging scenarios, we organize the discussion around specific tasks, modules, and auxiliary methods. To ensure a holistic overview, we also highlight several niche yet critical areas. Finally, we outline potential research directions to further advance the field of LLM inference serving.

巨人を飼いならす：効率的なLLM推論サービングの調査

Taming the Titans: A Survey of Efficient LLM Inference Serving

要旨

Support