Fiddler: Orquestación CPU-GPU para Inferencia Rápida en Modelos de Mezcla de Expertos

Fiddler: CPU-GPU Orchestration for Fast Inference of Mixture-of-Experts Models

February 10, 2024

Autores: Keisuke Kamahori, Yile Gu, Kan Zhu, Baris Kasikci

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) basados en la arquitectura de Mezcla de Expertos (MoE, por sus siglas en inglés) están demostrando un rendimiento prometedor en diversas tareas. Sin embargo, ejecutarlos en entornos con recursos limitados, donde la memoria de GPU no es abundante, es un desafío debido al enorme tamaño de los modelos. Los sistemas existentes que descargan los pesos del modelo a la memoria de la CPU sufren de una sobrecarga significativa al mover datos con frecuencia entre la CPU y la GPU. En este artículo, proponemos Fiddler, un motor de inferencia eficiente en recursos con orquestación CPU-GPU para modelos MoE. La idea clave de Fiddler es utilizar la capacidad de cálculo de la CPU para minimizar el movimiento de datos entre la CPU y la GPU. Nuestra evaluación muestra que Fiddler puede ejecutar el modelo Mixtral-8x7B sin comprimir, que supera los 90 GB en parámetros, para generar más de 3 tokens por segundo en una sola GPU con 24 GB de memoria, mostrando una mejora de un orden de magnitud sobre los métodos existentes. El código de Fiddler está disponible públicamente en https://github.com/efeslab/fiddler.

English

Large Language Models (LLMs) based on Mixture-of-Experts (MoE) architecture are showing promising performance on various tasks. However, running them on resource-constrained settings, where GPU memory resources are not abundant, is challenging due to huge model sizes. Existing systems that offload model weights to CPU memory suffer from the significant overhead of frequently moving data between CPU and GPU. In this paper, we propose Fiddler, a resource-efficient inference engine with CPU-GPU orchestration for MoE models. The key idea of Fiddler is to use the computation ability of the CPU to minimize the data movement between the CPU and GPU. Our evaluation shows that Fiddler can run the uncompressed Mixtral-8x7B model, which exceeds 90GB in parameters, to generate over 3 tokens per second on a single GPU with 24GB memory, showing an order of magnitude improvement over existing methods. The code of Fiddler is publicly available at https://github.com/efeslab/fiddler