Janus : Séparation de l'Attention et des Experts pour une Inférence MoE Évolutive

papers.abstract

L'inférence des grands modèles Mixture-of-Experts (MoE) est difficile en raison des exigences élevées en ressources et des charges de travail dynamiques. Les solutions existantes déploient souvent le modèle entier comme une unité monolithique unique, appliquant une configuration de ressources unifiée aux modules d'attention et aux experts malgré leurs besoins différents, ce qui limite l'évolutivité et l'efficacité des ressources. Dans cet article, nous proposons Janus, un système d'inférence MoE évolutif qui dissocie l'attention des experts sur des sous-clusters GPU séparés, permettant à chaque module d'être géré et mis à l'échelle indépendamment. Janus intègre trois conceptions clés pour une inférence MoE efficace et dissociée. Premièrement, il propose un schéma de communication adaptatif à deux phases qui exploite les hiérarchies de bande passante intra et inter-nœuds pour un échange de données à faible latence. Deuxièmement, motivé par la nature liée à la mémoire des modules MoE, Janus introduit un ordonnanceur léger implémenté sous forme de noyau GPU pour équilibrer le nombre d'experts activés entre les GPU avec une surcharge minimale, réduisant ainsi la latence d'inférence. Troisièmement, Janus effectue une gestion fine des ressources pour ajuster dynamiquement le placement des experts et mettre à l'échelle indépendamment les ressources d'attention et MoE afin d'améliorer l'efficacité globale. L'évaluation montre que Janus atteint un débit par GPU jusqu'à 3,9 fois supérieur aux systèmes les plus avancés tout en respectant les exigences de latence par token.

English

Large Mixture-of-Experts (MoE) model inference is challenging due to high resource demands and dynamic workloads. Existing solutions often deploy the entire model as a single monolithic unit, which applies a unified resource configuration to both attention and expert modules despite their different requirements, leading to limited scalability and resource inefficiency. In this paper, we propose Janus, a scalable MoE inference system that disaggregates attention and experts on separate GPU sub-clusters, enabling each module to be managed and scaled independently. Janus incorporates three key designs for efficient, disaggregated MoE inference. First, it proposes an adaptive two-phase communication scheme that exploits intra- and inter-node bandwidth hierarchies for low-latency data exchange. Second, motivated by the memory-bound nature of MoE modules, Janus introduces a lightweight scheduler and implements it as a GPU kernel to balance the number of activated experts across GPUs at minimal overhead, thereby reducing inference latency. Third, Janus performs fine-grained resource management to dynamically adjust expert placement and independently scale attention and MoE resources to improve overall efficiency. Evaluation shows Janus achieves up to 3.9 higher perGPU throughput than state-of-the-art systems while meeting per-token latency requirements.

Janus : Séparation de l'Attention et des Experts pour une Inférence MoE Évolutive

Janus: Disaggregating Attention and Experts for Scalable MoE Inference

papers.abstract

Support