Янус: Разделение механизмов внимания и экспертов для масштабируемого вывода моделей со смесью экспертов

Janus: Disaggregating Attention and Experts for Scalable MoE Inference

December 15, 2025

Авторы: Zhexiang Zhang, Ye Wang, Xiangyu Wang, Yumiao Zhao, Jingzhe Jiang, Qizhen Weng, Shaohuai Shi, Yin Chen, Minchen Yu

cs.AI

Аннотация

Вывод крупных моделей со смесью экспертов (MoE) сопряжен со сложностями из-за высоких требований к ресурсам и динамически меняющейся нагрузки. Существующие решения часто развертывают всю модель как единое монолитное целое, применяя единую конфигурацию ресурсов как для модулей внимания, так и для экспертов, несмотря на их различные требования, что приводит к ограниченной масштабируемости и неэффективному использованию ресурсов. В данной статье мы предлагаем Janus — масштабируемую систему для вывода MoE, которая разъединяет модули внимания и экспертов, размещая их на отдельных GPU-подкластерах, что позволяет управлять каждым модулем и масштабировать его независимо. Janus включает три ключевых решения для эффективного распределенного вывода MoE. Во-первых, предлагается адативная двухфазная схема коммуникации, использующая иерархии внутриузловой и межузловой пропускной способности для обмена данными с низкой задержкой. Во-вторых, учитывая ограниченность производительности модулей MoE по пропускной способности памяти, Janus вводит легковесный планировщик, реализованный в виде GPU-ядрa, для балансировки количества активированных экспертов между GPU с минимальными накладными расходами, тем самым сокращая задержку вывода. В-третьих, Janus осуществляет детальное управление ресурсами для динамической корректировки размещения экспертов и независимого масштабирования ресурсов внимания и MoE с целью повышения общей эффективности. Оценка показывает, что Janus обеспечивает до 3,9 раз более высокую пропускную способность на один GPU по сравнению с современными системами при соблюдении требований к задержке на токен.

English

Large Mixture-of-Experts (MoE) model inference is challenging due to high resource demands and dynamic workloads. Existing solutions often deploy the entire model as a single monolithic unit, which applies a unified resource configuration to both attention and expert modules despite their different requirements, leading to limited scalability and resource inefficiency. In this paper, we propose Janus, a scalable MoE inference system that disaggregates attention and experts on separate GPU sub-clusters, enabling each module to be managed and scaled independently. Janus incorporates three key designs for efficient, disaggregated MoE inference. First, it proposes an adaptive two-phase communication scheme that exploits intra- and inter-node bandwidth hierarchies for low-latency data exchange. Second, motivated by the memory-bound nature of MoE modules, Janus introduces a lightweight scheduler and implements it as a GPU kernel to balance the number of activated experts across GPUs at minimal overhead, thereby reducing inference latency. Third, Janus performs fine-grained resource management to dynamically adjust expert placement and independently scale attention and MoE resources to improve overall efficiency. Evaluation shows Janus achieves up to 3.9 higher perGPU throughput than state-of-the-art systems while meeting per-token latency requirements.