LIBMoE: 大規模言語モデルにおける専門家の混合を包括的にベンチマークするためのライブラリ

LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models

November 1, 2024

著者: Nam V. Nguyen, Thong T. Doan, Luong Tran, Van Nguyen, Quang Pham

cs.AI

要旨

エキスパートの混合（MoEs）は、より効率的かつ効果的な大規模言語モデル（LLMs）の開発に重要な役割を果たしています。膨大なリソース要件のため、大規模MoEアルゴリズムの研究は多くの研究者にはアクセスしづらい状況です。本研究では、MoEアルゴリズムの研究、トレーニング、評価を効率化する包括的かつモジュラーなフレームワークであるLibMoEを開発しました。モジュラー設計、効率的なトレーニング、包括的な評価という3つの基本原則に基づいて構築されたLibMoEは、トレーニングと評価のパイプラインを標準化することで、幅広い研究者にMoEをLLMsによりアクセスしやすくしています。LibMoEを使用して、我々は5つの最先端MoEアルゴリズムを3つの異なるLLMsと11のデータセットでゼロショット設定下で徹底的にベンチマークしました。結果は、独自の特性にもかかわらず、すべてのMoEアルゴリズムが幅広いタスクにわたって平均化された際にほぼ同様のパフォーマンスを発揮することを示しています。モジュラー設計と包括的な評価により、LibMoEは次世代のMoEとLLMsに向けて意義ある進展を遂げるために研究者にとって貴重な存在となると考えています。プロジェクトページ：https://fsoft-aic.github.io/fsoft-LibMoE.github.io.

English

Mixture of Experts (MoEs) plays an important role in the development of more efficient and effective large language models (LLMs). Due to the enormous resource requirements, studying large scale MoE algorithms remain in-accessible to many researchers. This work develops LibMoE, a comprehensive and modular framework to streamline the research, training, and evaluation of MoE algorithms. Built upon three core principles: (i) modular design, (ii) efficient training; (iii) comprehensive evaluation, LibMoE brings MoE in LLMs more accessible to a wide range of researchers by standardizing the training and evaluation pipelines. Using LibMoE, we extensively benchmarked five state-of-the-art MoE algorithms over three different LLMs and 11 datasets under the zero-shot setting. The results show that despite the unique characteristics, all MoE algorithms perform roughly similar when averaged across a wide range of tasks. With the modular design and extensive evaluation, we believe LibMoE will be invaluable for researchers to make meaningful progress towards the next generation of MoE and LLMs. Project page: https://fsoft-aic.github.io/fsoft-LibMoE.github.io.