Janus: Disaggregazione di Attenzione ed Esperti per Inferenza Scalabile di MoE

Abstract

L'inferenza di modelli Large Mixture-of-Experts (MoE) è impegnativa a causa dell'elevata domanda di risorse e dei carichi di lavoro dinamici. Le soluzioni esistenti spesso distribuiscono l'intero modello come un'unica unità monolitica, applicando una configurazione di risorse unificata sia ai moduli di attenzione che agli esperti nonostante le loro diverse esigenze, con conseguente scalabilità limitata e inefficienza delle risorse. In questo articolo, proponiamo Janus, un sistema di inferenza MoE scalabile che disaggregra l'attenzione e gli esperti su sottocluster GPU separati, consentendo la gestione e il ridimensionamento indipendenti di ciascun modulo. Janus incorpora tre progetti chiave per un'inferenza MoE disaggregata ed efficiente. In primo luogo, propone uno schema di comunicazione adattivo a due fasi che sfrutta le gerarchie di banda intra- e inter-nodo per lo scambio di dati a bassa latenza. In secondo luogo, motivato dalla natura memory-bound dei moduli MoE, Janus introduce uno scheduler leggero e lo implementa come kernel GPU per bilanciare il numero di esperti attivati tra le GPU con un overhead minimo, riducendo così la latenza di inferenza. In terzo luogo, Janus esegue una gestione delle risorse a grana fine per regolare dinamicamente il posizionamento degli esperti e ridimensionare indipendentemente le risorse di attenzione e MoE per migliorare l'efficienza complessiva. La valutazione mostra che Janus raggiunge un throughput per GPU fino a 3,9 volte superiore rispetto ai sistemi all'avanguardia, soddisfacendo al contempo i requisiti di latenza per token.

English

Large Mixture-of-Experts (MoE) model inference is challenging due to high resource demands and dynamic workloads. Existing solutions often deploy the entire model as a single monolithic unit, which applies a unified resource configuration to both attention and expert modules despite their different requirements, leading to limited scalability and resource inefficiency. In this paper, we propose Janus, a scalable MoE inference system that disaggregates attention and experts on separate GPU sub-clusters, enabling each module to be managed and scaled independently. Janus incorporates three key designs for efficient, disaggregated MoE inference. First, it proposes an adaptive two-phase communication scheme that exploits intra- and inter-node bandwidth hierarchies for low-latency data exchange. Second, motivated by the memory-bound nature of MoE modules, Janus introduces a lightweight scheduler and implements it as a GPU kernel to balance the number of activated experts across GPUs at minimal overhead, thereby reducing inference latency. Third, Janus performs fine-grained resource management to dynamically adjust expert placement and independently scale attention and MoE resources to improve overall efficiency. Evaluation shows Janus achieves up to 3.9 higher perGPU throughput than state-of-the-art systems while meeting per-token latency requirements.

Janus: Disaggregazione di Attenzione ed Esperti per Inferenza Scalabile di MoE

Janus: Disaggregating Attention and Experts for Scalable MoE Inference

Abstract

Support