DeepFlow : Service sans serveur pour le déploiement à grande échelle de modèles de langage.

DeepFlow: Serverless Large Language Model Serving at Scale

January 24, 2025

Auteurs: Junhao Hu, Jiang Xu, Zhixia Liu, Yulong He, Yuetao Chen, Hao Xu, Jiang Liu, Baoquan Zhang, Shining Wan, Gengyuan Dan, Zhiyu Dong, Zhihao Ren, Jie Meng, Chao He, Changhong Liu, Tao Xie, Dayun Lin, Qin Zhang, Yue Yu, Hao Feng, Xusheng Chen, Yizhou Shan

cs.AI

Résumé

Cet article présente DeepFlow, une plateforme d'IA évolutive et sans serveur conçue pour servir efficacement à grande échelle des grands modèles de langage (LLM) dans des environnements cloud. DeepFlow aborde des défis clés tels que l'allocation des ressources, l'efficacité du service et les latences de démarrage à froid à travers quatre composants principaux de conception. Tout d'abord, il utilise une abstraction simple sans serveur appelée le modèle requête-travail-tâche, qui aide à gérer les charges de travail d'IA à travers les tâches post-entraînement et de service de modèle. Ensuite, il construit un moteur de service interne FlowServe en utilisant une conception inspirée des micro-noyaux, une exécution centrée sur les NPU et un parallélisme basé sur le SPMD pour optimiser le service des LLM. Le système comprend également des politiques de planification novatrices adaptées aux configurations à PD désagrégé et PD colocalisé. Avec des optimisations telles que les pods préchauffés, le préchargement de la DRAM et le NPU-fork, DeepFlow peut passer à l'échelle jusqu'à 64 instances en quelques secondes. DeepFlow est en production depuis plus d'un an, fonctionnant sur un grand cluster NPU Ascend et fournissant des API standard de l'industrie pour le réglage fin, le service d'agent et le service de modèle à nos clients.

English

This paper introduces DeepFlow, a scalable and serverless AI platform designed to efficiently serve large language models (LLMs) at scale in cloud environments. DeepFlow addresses key challenges such as resource allocation, serving efficiency, and cold start latencies through four main design components. First, it uses a simple serverless abstraction called the request-job-task model, which helps manage AI workloads across post-training and model serving tasks. Second, it builds an in-house serving engine FlowServe using a microkernel-inspired design, NPU-centric execution, and SPMD-based parallelism to optimize LLM serving. The system also includes novel scheduling policies tailored for both PD-disaggregated and PD-colocated configurations. With optimizations like pre-warmed pods, DRAM pre-loading, and NPU-fork, DeepFlow can scale up to 64 instances in seconds. DeepFlow has been in production for over a year, operating on a large Ascend NPU cluster and providing industrystandard APIs for fine-tuning, agent serving, and model serving to our customers.