Janus: Desagregando Atenção e Especialistas para Inferência Escalável de MoE

Resumo

A inferência de modelos Large Mixture-of-Experts (MoE) é desafiadora devido às elevadas exigências de recursos e cargas de trabalho dinâmicas. As soluções existentes frequentemente implementam o modelo inteiro como uma única unidade monolítica, aplicando uma configuração de recursos unificada tanto para os módulos de atenção quanto para os módulos especialistas, apesar das suas diferentes exigências, o que resulta em escalabilidade limitada e ineficiência de recursos. Neste artigo, propomos Janus, um sistema de inferência MoE escalável que dissocia a atenção e os especialistas em sub-clusters de GPU separados, permitindo que cada módulo seja gerido e dimensionado de forma independente. O Janus incorpora três conceitos-chave para uma inferência MoE eficiente e dissociada. Primeiro, propõe um esquema de comunicação adaptativo de duas fases que explora as hierarquias de largura de banda intra-nó e inter-nós para uma troca de dados de baixa latência. Segundo, motivado pela natureza limitada pela memória dos módulos MoE, o Janus introduz um agendador leve e implementa-o como um kernel de GPU para equilibrar o número de especialistas ativados entre as GPUs com sobrecarga mínima, reduzindo assim a latência de inferência. Terceiro, o Janus realiza uma gestão de recursos de granularidade fina para ajustar dinamicamente o posicionamento dos especialistas e dimensionar independentemente os recursos de atenção e MoE para melhorar a eficiência geral. A avaliação mostra que o Janus alcança um throughput por GPU até 3,9 vezes superior ao dos sistemas state-of-the-art, cumprindo simultaneamente os requisitos de latência por token.

English

Large Mixture-of-Experts (MoE) model inference is challenging due to high resource demands and dynamic workloads. Existing solutions often deploy the entire model as a single monolithic unit, which applies a unified resource configuration to both attention and expert modules despite their different requirements, leading to limited scalability and resource inefficiency. In this paper, we propose Janus, a scalable MoE inference system that disaggregates attention and experts on separate GPU sub-clusters, enabling each module to be managed and scaled independently. Janus incorporates three key designs for efficient, disaggregated MoE inference. First, it proposes an adaptive two-phase communication scheme that exploits intra- and inter-node bandwidth hierarchies for low-latency data exchange. Second, motivated by the memory-bound nature of MoE modules, Janus introduces a lightweight scheduler and implements it as a GPU kernel to balance the number of activated experts across GPUs at minimal overhead, thereby reducing inference latency. Third, Janus performs fine-grained resource management to dynamically adjust expert placement and independently scale attention and MoE resources to improve overall efficiency. Evaluation shows Janus achieves up to 3.9 higher perGPU throughput than state-of-the-art systems while meeting per-token latency requirements.

Janus: Desagregando Atenção e Especialistas para Inferência Escalável de MoE

Janus: Disaggregating Attention and Experts for Scalable MoE Inference

Resumo

Support