DeepFlow: Servicio de Modelos de Lenguaje a Gran Escala sin Servidor

DeepFlow: Serverless Large Language Model Serving at Scale

January 24, 2025

Autores: Junhao Hu, Jiang Xu, Zhixia Liu, Yulong He, Yuetao Chen, Hao Xu, Jiang Liu, Baoquan Zhang, Shining Wan, Gengyuan Dan, Zhiyu Dong, Zhihao Ren, Jie Meng, Chao He, Changhong Liu, Tao Xie, Dayun Lin, Qin Zhang, Yue Yu, Hao Feng, Xusheng Chen, Yizhou Shan

cs.AI

Resumen

Este documento presenta DeepFlow, una plataforma de inteligencia artificial escalable y serverless diseñada para servir de manera eficiente modelos de lenguaje grandes (LLMs) a gran escala en entornos de nube. DeepFlow aborda desafíos clave como la asignación de recursos, la eficiencia en el servicio y las latencias de inicio en frío a través de cuatro componentes de diseño principales. En primer lugar, utiliza una abstracción serverless simple llamada el modelo solicitud-trabajo-tarea, que ayuda a gestionar cargas de trabajo de IA en tareas posteriores al entrenamiento y de servicio de modelos. En segundo lugar, construye un motor de servicio interno llamado FlowServe utilizando un diseño inspirado en microkernel, ejecución centrada en NPU y paralelismo basado en SPMD para optimizar el servicio de LLM. El sistema también incluye políticas de programación novedosas adaptadas tanto para configuraciones PD-desagregadas como PD-colocadas. Con optimizaciones como pods precalentados, precarga de DRAM y NPU-fork, DeepFlow puede escalar hasta 64 instancias en segundos. DeepFlow ha estado en producción durante más de un año, operando en un gran clúster de NPU Ascend y proporcionando APIs estándar de la industria para ajuste fino, servicio de agentes y servicio de modelos a nuestros clientes.

English

This paper introduces DeepFlow, a scalable and serverless AI platform designed to efficiently serve large language models (LLMs) at scale in cloud environments. DeepFlow addresses key challenges such as resource allocation, serving efficiency, and cold start latencies through four main design components. First, it uses a simple serverless abstraction called the request-job-task model, which helps manage AI workloads across post-training and model serving tasks. Second, it builds an in-house serving engine FlowServe using a microkernel-inspired design, NPU-centric execution, and SPMD-based parallelism to optimize LLM serving. The system also includes novel scheduling policies tailored for both PD-disaggregated and PD-colocated configurations. With optimizations like pre-warmed pods, DRAM pre-loading, and NPU-fork, DeepFlow can scale up to 64 instances in seconds. DeepFlow has been in production for over a year, operating on a large Ascend NPU cluster and providing industrystandard APIs for fine-tuning, agent serving, and model serving to our customers.