LIBMoE: Библиотека для комплексного тестирования смеси экспертов в крупных языковых моделях

LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models

November 1, 2024

Авторы: Nam V. Nguyen, Thong T. Doan, Luong Tran, Van Nguyen, Quang Pham

cs.AI

Аннотация

Смесь экспертов (MoEs) играет важную роль в разработке более эффективных и эффективных больших языковых моделей (LLMs). Из-за огромных требований к ресурсам изучение алгоритмов MoE большого масштаба остается недоступным для многих исследователей. В данной работе разрабатывается LibMoE, комплексный и модульный фреймворк для упрощения исследований, обучения и оценки алгоритмов MoE. Основанный на трех основных принципах: (i) модульный дизайн, (ii) эффективное обучение; (iii) всесторонняя оценка, LibMoE делает MoE в LLMs более доступными для широкого круга исследователей путем стандартизации процессов обучения и оценки. Используя LibMoE, мы подробно оценили пять передовых алгоритмов MoE на трех различных LLMs и 11 наборах данных в условиях нулевой настройки. Результаты показывают, что несмотря на уникальные характеристики, все алгоритмы MoE показывают примерно одинаковую производительность при усреднении по широкому спектру задач. Благодаря модульному дизайну и обширной оценке, мы считаем, что LibMoE будет бесценным инструментом для исследователей, позволяющим сделать значительные шаги к следующему поколению MoE и LLMs. Страница проекта: https://fsoft-aic.github.io/fsoft-LibMoE.github.io.

English

Mixture of Experts (MoEs) plays an important role in the development of more efficient and effective large language models (LLMs). Due to the enormous resource requirements, studying large scale MoE algorithms remain in-accessible to many researchers. This work develops LibMoE, a comprehensive and modular framework to streamline the research, training, and evaluation of MoE algorithms. Built upon three core principles: (i) modular design, (ii) efficient training; (iii) comprehensive evaluation, LibMoE brings MoE in LLMs more accessible to a wide range of researchers by standardizing the training and evaluation pipelines. Using LibMoE, we extensively benchmarked five state-of-the-art MoE algorithms over three different LLMs and 11 datasets under the zero-shot setting. The results show that despite the unique characteristics, all MoE algorithms perform roughly similar when averaged across a wide range of tasks. With the modular design and extensive evaluation, we believe LibMoE will be invaluable for researchers to make meaningful progress towards the next generation of MoE and LLMs. Project page: https://fsoft-aic.github.io/fsoft-LibMoE.github.io.