モジュラー型LLMを目指して：LoRAライブラリの構築と再利用

Towards Modular LLMs by Building and Reusing a Library of LoRAs

May 18, 2024

著者: Oleksiy Ostapenko, Zhan Su, Edoardo Maria Ponti, Laurent Charlin, Nicolas Le Roux, Matheus Pereira, Lucas Caccia, Alessandro Sordoni

cs.AI

要旨

大規模言語モデル（LLM）のパラメータ効率型適応手法が増加する中、これらの訓練済みアダプタを再利用して新たなタスクの性能を向上させることが可能かどうかを検討する必要が生じています。本研究では、マルチタスクデータを基にアダプタのライブラリを構築する最適な方法を探り、そのライブラリを通じたゼロショットおよび教師ありタスク一般化のための技術を考案します。既存のアプローチをベンチマークし、アダプタパラメータの類似性に基づいてタスクをグループ化するモデルベースクラスタリング（MBC）を導入します。これにより、マルチタスクデータセット全体での転移を間接的に最適化します。ライブラリを再利用するために、新しいゼロショットルーティングメカニズム「Arrow」を提案します。Arrowは、再訓練を必要とせずに新しい入力に対して最も関連性の高いアダプタを動的に選択することを可能にします。Phi-2やMistralなどの複数のLLMを用いて、幅広い保留タスクで実験を行い、MBCベースのアダプタとArrowルーティングが新たなタスクへの優れた一般化をもたらすことを検証します。これにより、従来の共同訓練に匹敵またはそれを上回るモジュール化された適応可能なLLMの構築に向けた一歩を踏み出します。

English

The growing number of parameter-efficient adaptations of a base large language model (LLM) calls for studying whether we can reuse such trained adapters to improve performance for new tasks. We study how to best build a library of adapters given multi-task data and devise techniques for both zero-shot and supervised task generalization through routing in such library. We benchmark existing approaches to build this library and introduce model-based clustering, MBC, a method that groups tasks based on the similarity of their adapter parameters, indirectly optimizing for transfer across the multi-task dataset. To re-use the library, we present a novel zero-shot routing mechanism, Arrow, which enables dynamic selection of the most relevant adapters for new inputs without the need for retraining. We experiment with several LLMs, such as Phi-2 and Mistral, on a wide array of held-out tasks, verifying that MBC-based adapters and Arrow routing lead to superior generalization to new tasks. We make steps towards creating modular, adaptable LLMs that can match or outperform traditional joint training.