DeepFlow: Serviço de Modelagem de Linguagem em Escala sem Servidor

DeepFlow: Serverless Large Language Model Serving at Scale

January 24, 2025

Autores: Junhao Hu, Jiang Xu, Zhixia Liu, Yulong He, Yuetao Chen, Hao Xu, Jiang Liu, Baoquan Zhang, Shining Wan, Gengyuan Dan, Zhiyu Dong, Zhihao Ren, Jie Meng, Chao He, Changhong Liu, Tao Xie, Dayun Lin, Qin Zhang, Yue Yu, Hao Feng, Xusheng Chen, Yizhou Shan

cs.AI

Resumo

Este artigo apresenta o DeepFlow, uma plataforma de IA escalável e serverless projetada para servir eficientemente modelos de linguagem de grande escala (LLMs) em ambientes de nuvem. O DeepFlow aborda desafios-chave como alocação de recursos, eficiência de serviço e latências de inicialização a frio por meio de quatro componentes principais de design. Primeiramente, ele utiliza uma abstração serverless simples chamada de modelo de requisição-trabalho-tarefa, que ajuda a gerenciar cargas de trabalho de IA em tarefas pós-treinamento e de serviço de modelo. Em segundo lugar, constrói um mecanismo de serviço interno chamado FlowServe usando um design inspirado em microkernel, execução centrada em NPU e paralelismo baseado em SPMD para otimizar o serviço de LLM. O sistema também inclui políticas de agendamento inovadoras adaptadas para configurações tanto de PD-desagregadas quanto de PD-colocadas. Com otimizações como pods pré-aquecidos, pré-carregamento de DRAM e NPU-fork, o DeepFlow pode escalar até 64 instâncias em segundos. O DeepFlow está em produção há mais de um ano, operando em um grande cluster de NPU Ascend e fornecendo APIs padrão do setor para ajuste fino, serviço de agente e serviço de modelo aos nossos clientes.

English

This paper introduces DeepFlow, a scalable and serverless AI platform designed to efficiently serve large language models (LLMs) at scale in cloud environments. DeepFlow addresses key challenges such as resource allocation, serving efficiency, and cold start latencies through four main design components. First, it uses a simple serverless abstraction called the request-job-task model, which helps manage AI workloads across post-training and model serving tasks. Second, it builds an in-house serving engine FlowServe using a microkernel-inspired design, NPU-centric execution, and SPMD-based parallelism to optimize LLM serving. The system also includes novel scheduling policies tailored for both PD-disaggregated and PD-colocated configurations. With optimizations like pre-warmed pods, DRAM pre-loading, and NPU-fork, DeepFlow can scale up to 64 instances in seconds. DeepFlow has been in production for over a year, operating on a large Ascend NPU cluster and providing industrystandard APIs for fine-tuning, agent serving, and model serving to our customers.