Fiddler: CPU-GPU-Orchestrierung für schnelle Inferenz von Mixture-of-Experts-Modellen

Fiddler: CPU-GPU Orchestration for Fast Inference of Mixture-of-Experts Models

February 10, 2024

Autoren: Keisuke Kamahori, Yile Gu, Kan Zhu, Baris Kasikci

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs), die auf der Mixture-of-Experts (MoE)-Architektur basieren, zeigen vielversprechende Leistungen bei verschiedenen Aufgaben. Allerdings ist ihr Einsatz in ressourcenbeschränkten Umgebungen, in denen GPU-Speicherressourcen knapp sind, aufgrund der enormen Modellgrößen eine Herausforderung. Bestehende Systeme, die Modellgewichte in den CPU-Speicher auslagern, leiden unter dem erheblichen Overhead durch den häufigen Datentransfer zwischen CPU und GPU. In diesem Artikel stellen wir Fiddler vor, eine ressourceneffiziente Inferenz-Engine mit CPU-GPU-Orchestrierung für MoE-Modelle. Der Kernansatz von Fiddler besteht darin, die Rechenleistung der CPU zu nutzen, um den Datentransfer zwischen CPU und GPU zu minimieren. Unsere Auswertungen zeigen, dass Fiddler das unkomprimierte Mixtral-8x7B-Modell, das über 90 GB Parameter umfasst, mit einer Geschwindigkeit von mehr als 3 Tokens pro Sekunde auf einer einzelnen GPU mit 24 GB Speicher ausführen kann, was eine Größenordnung an Verbesserung gegenüber bestehenden Methoden darstellt. Der Code von Fiddler ist öffentlich verfügbar unter https://github.com/efeslab/fiddler.

English

Large Language Models (LLMs) based on Mixture-of-Experts (MoE) architecture are showing promising performance on various tasks. However, running them on resource-constrained settings, where GPU memory resources are not abundant, is challenging due to huge model sizes. Existing systems that offload model weights to CPU memory suffer from the significant overhead of frequently moving data between CPU and GPU. In this paper, we propose Fiddler, a resource-efficient inference engine with CPU-GPU orchestration for MoE models. The key idea of Fiddler is to use the computation ability of the CPU to minimize the data movement between the CPU and GPU. Our evaluation shows that Fiddler can run the uncompressed Mixtral-8x7B model, which exceeds 90GB in parameters, to generate over 3 tokens per second on a single GPU with 24GB memory, showing an order of magnitude improvement over existing methods. The code of Fiddler is publicly available at https://github.com/efeslab/fiddler