EE-Tuning: 早期終了型大規模言語モデルのチューニングにおける経済的かつスケーラブルなソリューション

要旨

本研究では、早期終了型大規模言語モデル（LLM）の学習/チューニングに対する軽量かつ経済的なソリューションであるEE-Tuningを紹介します。従来の全パラメータ事前学習のアプローチとは対照的に、EE-Tuningは、事前学習済み（かつ場合によってはファインチューニング済み）の標準LLMに、パラメータ効率の良い方法でチューニングされた追加の早期終了層を組み込みます。これにより、大幅に少ない計算リソースと学習データで済みます。EE-Tuningの実装は、広範なパフォーマンス最適化を通じて優れた学習効率を実現し、3D並列処理との完全な互換性によりスケーラビリティを確保しています。体系的な実験の結果はEE-Tuningの有効性を裏付けており、限られた学習予算で効果的な早期終了型LLM推論が可能であることを確認しています。早期終了型LLMをコミュニティに広く提供することを目指し、EE-Tuningの実装のソースコードをhttps://github.com/pan-x-c/EE-LLMで公開しています。

English

This work introduces EE-Tuning, a lightweight and economical solution to training/tuning early-exit large language models (LLMs). In contrast to the common approach of full-parameter pre-training, EE-Tuning augments any pre-trained (and possibly fine-tuned) standard LLM with additional early-exit layers that are tuned in a parameter-efficient manner, which requires significantly less computational resources and training data. Our implementation of EE-Tuning achieves outstanding training efficiency via extensive performance optimizations, as well as scalability due to its full compatibility with 3D parallelism. Results of systematic experiments validate the efficacy of EE-Tuning, confirming that effective early-exit LLM inference can be achieved with a limited training budget. In hope of making early-exit LLMs accessible to the community, we release the source code of our implementation of EE-Tuning at https://github.com/pan-x-c/EE-LLM.

EE-Tuning: 早期終了型大規模言語モデルのチューニングにおける経済的かつスケーラブルなソリューション

EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models

要旨

Support