LoRA 라이브러리 구축 및 재활용을 통한 모듈형 LLM 개발 방향

Towards Modular LLMs by Building and Reusing a Library of LoRAs

May 18, 2024

저자: Oleksiy Ostapenko, Zhan Su, Edoardo Maria Ponti, Laurent Charlin, Nicolas Le Roux, Matheus Pereira, Lucas Caccia, Alessandro Sordoni

cs.AI

초록

기본 대형 언어 모델(LLM)의 파라미터 효율적 적응 방법이 점점 증가함에 따라, 이러한 훈련된 어댑터를 재사용하여 새로운 작업의 성능을 개선할 수 있는지 연구할 필요가 있습니다. 우리는 다중 작업 데이터가 주어졌을 때 어댑터 라이브러리를 최적으로 구축하는 방법과, 이러한 라이브러리를 통해 제로샷 및 지도 작업 일반화를 위한 라우팅 기술을 고안합니다. 이 라이브러리를 구축하기 위한 기존 접근법을 벤치마킹하고, 모델 기반 클러스터링(MBC)이라는 방법을 소개합니다. 이 방법은 어댑터 매개변수의 유사성을 기반으로 작업을 그룹화하여 다중 작업 데이터셋 간 전이를 간접적으로 최적화합니다. 라이브러리를 재사용하기 위해, 새로운 입력에 대해 가장 관련성이 높은 어댑터를 동적으로 선택할 수 있는 제로샷 라우팅 메커니즘인 Arrow를 제안합니다. 이 메커니즘은 재훈련 없이도 작동합니다. 우리는 Phi-2와 Mistral과 같은 여러 LLM을 다양한 보류된 작업에 대해 실험하여, MBC 기반 어댑터와 Arrow 라우팅이 새로운 작업에 대한 우수한 일반화를 이끌어냄을 확인합니다. 이를 통해 모듈화되고 적응 가능한 LLM을 만들어 전통적인 공동 훈련을 능가하거나 그에 맞먹는 성능을 달성하기 위한 단계를 밟습니다.

English

The growing number of parameter-efficient adaptations of a base large language model (LLM) calls for studying whether we can reuse such trained adapters to improve performance for new tasks. We study how to best build a library of adapters given multi-task data and devise techniques for both zero-shot and supervised task generalization through routing in such library. We benchmark existing approaches to build this library and introduce model-based clustering, MBC, a method that groups tasks based on the similarity of their adapter parameters, indirectly optimizing for transfer across the multi-task dataset. To re-use the library, we present a novel zero-shot routing mechanism, Arrow, which enables dynamic selection of the most relevant adapters for new inputs without the need for retraining. We experiment with several LLMs, such as Phi-2 and Mistral, on a wide array of held-out tasks, verifying that MBC-based adapters and Arrow routing lead to superior generalization to new tasks. We make steps towards creating modular, adaptable LLMs that can match or outperform traditional joint training.