DeepFlow: Servizio di modelli linguistici di grandi dimensioni senza server su larga scala

DeepFlow: Serverless Large Language Model Serving at Scale

January 24, 2025

Autori: Junhao Hu, Jiang Xu, Zhixia Liu, Yulong He, Yuetao Chen, Hao Xu, Jiang Liu, Baoquan Zhang, Shining Wan, Gengyuan Dan, Zhiyu Dong, Zhihao Ren, Jie Meng, Chao He, Changhong Liu, Tao Xie, Dayun Lin, Qin Zhang, Yue Yu, Hao Feng, Xusheng Chen, Yizhou Shan

cs.AI

Abstract

Questo articolo introduce DeepFlow, una piattaforma AI scalabile e serverless progettata per servire in modo efficiente modelli linguistici di grandi dimensioni (LLM) su larga scala negli ambienti cloud. DeepFlow affronta sfide chiave come l'allocazione delle risorse, l'efficienza del servizio e le latenze di avvio a freddo attraverso quattro componenti principali di progettazione. In primo luogo, utilizza un'astrazione serverless semplice chiamata modello richiesta-lavoro-task, che aiuta a gestire carichi di lavoro AI tra attività post-training e servizio del modello. In secondo luogo, costruisce un motore di servizio in-house chiamato FlowServe utilizzando un design ispirato ai microkernel, esecuzione incentrata su NPU e parallelismo basato su SPMD per ottimizzare il servizio LLM. Il sistema include anche politiche di pianificazione innovative adattate sia per configurazioni disaggregate PD che collocate PD. Con ottimizzazioni come pod pre-avviati, pre-caricamento DRAM e NPU-fork, DeepFlow può scalare fino a 64 istanze in pochi secondi. DeepFlow è stato in produzione per oltre un anno, operando su un ampio cluster Ascend NPU e fornendo API standard del settore per il raffinamento, il servizio dell'agente e il servizio del modello ai nostri clienti.

English

This paper introduces DeepFlow, a scalable and serverless AI platform designed to efficiently serve large language models (LLMs) at scale in cloud environments. DeepFlow addresses key challenges such as resource allocation, serving efficiency, and cold start latencies through four main design components. First, it uses a simple serverless abstraction called the request-job-task model, which helps manage AI workloads across post-training and model serving tasks. Second, it builds an in-house serving engine FlowServe using a microkernel-inspired design, NPU-centric execution, and SPMD-based parallelism to optimize LLM serving. The system also includes novel scheduling policies tailored for both PD-disaggregated and PD-colocated configurations. With optimizations like pre-warmed pods, DRAM pre-loading, and NPU-fork, DeepFlow can scale up to 64 instances in seconds. DeepFlow has been in production for over a year, operating on a large Ascend NPU cluster and providing industrystandard APIs for fine-tuning, agent serving, and model serving to our customers.