멀티헤드 혼합 전문가

초록

희소 전문가 혼합 모델(Sparse Mixtures of Experts, SMoE)은 훈련 및 추론 비용의 큰 증가 없이 모델 용량을 확장할 수 있지만, 다음과 같은 두 가지 문제점을 보입니다: (1) 낮은 전문가 활성화로, 최적화를 위해 소수의 전문가만이 활성화됩니다. (2) 개별 토큰 내의 다중 의미 개념에 대한 세밀한 분석 능력이 부족합니다. 우리는 다중 헤드 전문가 혼합 모델(Multi-Head Mixture-of-Experts, MH-MoE)을 제안합니다. 이 모델은 다중 헤드 메커니즘을 사용하여 각 토큰을 여러 하위 토큰으로 분할합니다. 이러한 하위 토큰은 다양한 전문가 집단에 병렬로 할당 및 처리된 후 원래의 토큰 형태로 원활하게 재통합됩니다. 다중 헤드 메커니즘은 모델이 다양한 전문가 내의 여러 표현 공간에서 정보를 집중적으로 주목할 수 있게 하며, 전문가 활성화를 크게 향상시켜 컨텍스트 이해를 심화하고 과적합을 완화합니다. 또한, 우리의 MH-MoE는 구현이 간단하며 다른 SMoE 최적화 방법과 분리되어 있어, 다른 SMoE 모델과 쉽게 통합하여 성능을 향상시킬 수 있습니다. 영어 중심 언어 모델링, 다국어 언어 모델링, 마스크된 다중 모달리티 모델링 작업에 걸친 광범위한 실험 결과는 MH-MoE의 효과를 입증합니다.

English

Sparse Mixtures of Experts (SMoE) scales model capacity without significant increases in training and inference costs, but exhibits the following two issues: (1) Low expert activation, where only a small subset of experts are activated for optimization. (2) Lacking fine-grained analytical capabilities for multiple semantic concepts within individual tokens. We propose Multi-Head Mixture-of-Experts (MH-MoE), which employs a multi-head mechanism to split each token into multiple sub-tokens. These sub-tokens are then assigned to and processed by a diverse set of experts in parallel, and seamlessly reintegrated into the original token form. The multi-head mechanism enables the model to collectively attend to information from various representation spaces within different experts, while significantly enhances expert activation, thus deepens context understanding and alleviate overfitting. Moreover, our MH-MoE is straightforward to implement and decouples from other SMoE optimization methods, making it easy to integrate with other SMoE models for enhanced performance. Extensive experimental results across three tasks: English-focused language modeling, Multi-lingual language modeling and Masked multi-modality modeling tasks, demonstrate the effectiveness of MH-MoE.

멀티헤드 혼합 전문가

Multi-Head Mixture-of-Experts

초록

Summary

Support

Support