Fiddler: Mixture-of-Expertsモデルの高速推論のためのCPU-GPU協調処理

Fiddler: CPU-GPU Orchestration for Fast Inference of Mixture-of-Experts Models

February 10, 2024

著者: Keisuke Kamahori, Yile Gu, Kan Zhu, Baris Kasikci

cs.AI

要旨

Mixture-of-Experts（MoE）アーキテクチャに基づく大規模言語モデル（LLMs）は、さまざまなタスクで有望な性能を示しています。しかし、GPUメモリリソースが十分でないリソース制約のある環境でこれらのモデルを実行することは、モデルサイズが巨大であるため困難です。既存のシステムでは、モデルの重みをCPUメモリにオフロードする際に、CPUとGPU間での頻繁なデータ移動による大きなオーバーヘッドが発生します。本論文では、MoEモデルのためのCPU-GPUオーケストレーションを備えたリソース効率の高い推論エンジンであるFiddlerを提案します。Fiddlerの鍵となるアイデアは、CPUの計算能力を活用してCPUとGPU間のデータ移動を最小限に抑えることです。評価の結果、Fiddlerは90GBを超えるパラメータを持つ非圧縮のMixtral-8x7Bモデルを、24GBメモリの単一GPU上で1秒あたり3トークン以上生成することができ、既存の方法と比べて桁違いの改善を示しました。Fiddlerのコードはhttps://github.com/efeslab/fiddlerで公開されています。

English

Large Language Models (LLMs) based on Mixture-of-Experts (MoE) architecture are showing promising performance on various tasks. However, running them on resource-constrained settings, where GPU memory resources are not abundant, is challenging due to huge model sizes. Existing systems that offload model weights to CPU memory suffer from the significant overhead of frequently moving data between CPU and GPU. In this paper, we propose Fiddler, a resource-efficient inference engine with CPU-GPU orchestration for MoE models. The key idea of Fiddler is to use the computation ability of the CPU to minimize the data movement between the CPU and GPU. Our evaluation shows that Fiddler can run the uncompressed Mixtral-8x7B model, which exceeds 90GB in parameters, to generate over 3 tokens per second on a single GPU with 24GB memory, showing an order of magnitude improvement over existing methods. The code of Fiddler is publicly available at https://github.com/efeslab/fiddler