UniMoMo: 대규모 추천 모델을 위한 전문가 병합 기반 MoE 가속화

초록

희소 혼합 전문가(Sparse mixture-of-experts, MoE) 계층은 조건부 연산을 통해 추천 용량을 확장하지만, 훈련된 체크포인트는 여전히 전체 전문가 뱅크를 저장하고 그 위에서 라우팅을 수행한다. 우리는 배포 문제를 연구한다: 명시적 전문가 예산 하에서 해당 체크포인트를 더 작은 표준 MoE로 변환하되, 압축 전용 온라인 모듈을 추가하지 않는 것이다. 이 문제를 해결하기 위해, 우리는 제약된 그래프 축소 문제로 정식화된 훈련 후 압축 프레임워크인 UniMoMo를 제안한다. UniMoMo는 파라미터 거리에 의존하지 않고, 라벨이 없는 보정 집합을 사용하여 공유된 추천 상태에 대해 전문가들이 얼마나 유사하게 반응하는지를 측정함으로써 기능적 유사성에 기반해 전문가들을 그룹화한다. 성능 저하를 방지하기 위해, 우리는 라우팅 노출도에 기반하여 트래픽이 높은 전문가들의 병합을 제한하는 계층 적응형 보호 메커니즘을 도입한다. 2, 4, 6개의 MoE 블록을 갖춘 Amazon Beauty, KuaiRec, TenRec 데이터셋 전반에 걸쳐, 최종 4-전문가 체크포인트는 원본 대비 5회 실행 평균 NDCG@10 비율 99.92%~102.30%를 달성하고, 측정된 A100 속도 향상은 1.28배~1.63배이다. 공격적인 2-전문가, top-1 운영 지점은 98.36%~104.24%의 비율과 1.47배~2.21배의 속도 향상을 달성한다. 이러한 최종 결과는 완전한 변환 및 적응 워크플로우를 평가하며, 훈련된 추천 MoE가 여러 서빙 예산으로 내보내질 수 있음을 보여준다.

English

Sparse mixture-of-experts (MoE) layers expand recommendation capacity through conditional computation, yet a trained checkpoint still stores and routes over its full expert bank. We study a deployment problem: convert that checkpoint to a smaller standard MoE under an explicit expert budget, without adding a compression-specific online module. To address this, we introduce UniMoMo, a post-training compression framework formulated as a constrained graph coarsening problem. Rather than relying on parameter distance, UniMoMo groups experts based on their functional similarity, using an unlabeled calibration set to measure how similarly experts respond to shared recommendation states. To prevent performance degradation, we introduce a layer-adaptive protection mechanism that restricts the merging of high-traffic experts based on their routing exposure. Across Amazon Beauty, KuaiRec, and TenRec with 2, 4, and 6 MoE blocks, the final four-expert checkpoints obtain source-relative five-run mean NDCG@10 ratios of 99.92%--102.30% and measured A100 speedups of 1.28times--1.63times. An aggressive two-expert, top-1 operating point obtains ratios of 98.36%--104.24% and speedups of 1.47times--2.21times. These endpoint results evaluate the complete conversion-and-adaptation workflow and show that a trained recommendation MoE can be exported at multiple serving budgets.