Более детальное изучение Модели смеси экспертов в больших языковых моделях

A Closer Look into Mixture-of-Experts in Large Language Models

June 26, 2024

Авторы: Ka Man Lo, Zeyu Huang, Zihan Qiu, Zili Wang, Jie Fu

cs.AI

Аннотация

Смесь экспертов (MoE) привлекает все больше внимания благодаря своим уникальным свойствам и выдающейся производительности, особенно в задачах обработки языка. Путем разреженной активации подмножества параметров для каждого токена архитектура MoE может увеличить размер модели, не жертвуя вычислительной эффективности, достигая лучшего баланса между производительностью и затратами на обучение. Однако механизм MoE до сих пор требует дальнейшего исследования, и степень его модуляризации остается под вопросом. В данной статье мы предпринимаем первую попытку понять внутреннее устройство крупных языковых моделей на основе MoE. Конкретно, мы всесторонне изучаем параметрические и поведенческие особенности трех недавних моделей на основе MoE и раскрываем некоторые увлекательные наблюдения, включая (1) Нейроны действуют как мелкозернистые эксперты. (2) Маршрутизатор MoE обычно выбирает экспертов с более крупными нормами выхода. (3) Разнообразие экспертов увеличивается по мере увеличения слоя, в то время как последний слой является выбивающимся. На основе наблюдений мы также предлагаем рекомендации для широкого круга практиков MoE, такие как дизайн маршрутизатора и распределение экспертов. Мы надеемся, что эта работа прольет свет на будущие исследования в области фреймворка MoE и других модульных архитектур. Код доступен по ссылке https://github.com/kamanphoebe/Look-into-MoEs.

English

Mixture-of-experts (MoE) is gaining increasing attention due to its unique properties and remarkable performance, especially for language tasks. By sparsely activating a subset of parameters for each token, MoE architecture could increase the model size without sacrificing computational efficiency, achieving a better trade-off between performance and training costs. However, the underlying mechanism of MoE still lacks further exploration, and its modularization degree remains questionable. In this paper, we make an initial attempt to understand the inner workings of MoE-based large language models. Concretely, we comprehensively study the parametric and behavioral features of three recent MoE-based models and reveal some intriguing observations, including (1) Neurons act like fine-grained experts. (2) The router of MoE usually selects experts with larger output norms. (3) The expert diversity increases as the layer increases, while the last layer is an outlier. Based on the observations, we also provide suggestions for a broad spectrum of MoE practitioners, such as router design and expert allocation. We hope this work could shed light on future research on the MoE framework and other modular architectures. Code is available at https://github.com/kamanphoebe/Look-into-MoEs.