Fiddler: Оркестрация CPU-GPU для быстрого вывода моделей смеси экспертов
Fiddler: CPU-GPU Orchestration for Fast Inference of Mixture-of-Experts Models
February 10, 2024
Авторы: Keisuke Kamahori, Yile Gu, Kan Zhu, Baris Kasikci
cs.AI
Аннотация
Крупные языковые модели (LLM), основанные на архитектуре Mixture-of-Experts (MoE), демонстрируют многообещающие результаты в различных задачах. Однако их запуск в условиях ограниченных ресурсов, где объем памяти GPU недостаточен, является сложной задачей из-за огромных размеров моделей. Существующие системы, которые выгружают веса модели в память CPU, страдают от значительных накладных расходов, связанных с частым перемещением данных между CPU и GPU. В данной статье мы предлагаем Fiddler — ресурсоэффективный механизм вывода с координацией работы CPU и GPU для моделей MoE. Основная идея Fiddler заключается в использовании вычислительных возможностей CPU для минимизации перемещения данных между CPU и GPU. Наши оценки показывают, что Fiddler способен запускать несжатую модель Mixtral-8x7B, которая превышает 90 ГБ параметров, генерируя более 3 токенов в секунду на одном GPU с 24 ГБ памяти, что демонстрирует улучшение на порядок по сравнению с существующими методами. Код Fiddler доступен публично по адресу https://github.com/efeslab/fiddler.
English
Large Language Models (LLMs) based on Mixture-of-Experts (MoE) architecture
are showing promising performance on various tasks. However, running them on
resource-constrained settings, where GPU memory resources are not abundant, is
challenging due to huge model sizes. Existing systems that offload model
weights to CPU memory suffer from the significant overhead of frequently moving
data between CPU and GPU. In this paper, we propose Fiddler, a
resource-efficient inference engine with CPU-GPU orchestration for MoE models.
The key idea of Fiddler is to use the computation ability of the CPU to
minimize the data movement between the CPU and GPU. Our evaluation shows that
Fiddler can run the uncompressed Mixtral-8x7B model, which exceeds 90GB in
parameters, to generate over 3 tokens per second on a single GPU with 24GB
memory, showing an order of magnitude improvement over existing methods. The
code of Fiddler is publicly available at
https://github.com/efeslab/fiddlerSummary
AI-Generated Summary