LoraHub: 동적 LoRA 구성을 통한 효율적인 크로스 태스크 일반화
LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition
July 25, 2023
저자: Chengsong Huang, Qian Liu, Bill Yuchen Lin, Tianyu Pang, Chao Du, Min Lin
cs.AI
초록
저순위 적응(LoRA)은 대규모 언어 모델(LLM)을 새로운 작업에 맞게 미세 조정하는 데 자주 사용됩니다. 본 논문은 교차 작업 일반화를 위한 LoRA 구성 가능성을 탐구하고, 다양한 주어진 작업에 대해 훈련된 LoRA 모듈을 목적에 맞게 조합하여 보이지 않는 작업에 대한 적응 가능한 성능을 달성하기 위해 설계된 전략적 프레임워크인 LoraHub를 소개합니다. 새로운 작업의 몇 가지 예시만으로도 LoraHub는 여러 LoRA 모듈의 유연한 조합을 가능하게 하여 인간의 전문 지식을 필요로 하지 않습니다. 특히, 이 조합은 추가적인 모델 매개변수나 그래디언트를 필요로 하지 않습니다. Big-Bench Hard(BBH) 벤치마크에서 도출된 우리의 실험 결과는 LoraHub가 퓨샷 시나리오에서 컨텍스트 내 학습의 성능을 효과적으로 모방할 수 있음을 시사하며, 각 추론 입력과 함께 컨텍스트 내 예시를 필요로 하지 않습니다. 우리 연구의 중요한 기여는 LoRA 커뮤니티를 조성하여 사용자가 훈련된 LoRA 모듈을 공유할 수 있게 함으로써 새로운 작업에의 적용을 용이하게 하는 것입니다. 우리는 이 자원이 일반 지능 및 생산 환경에서의 LLM에 대한 접근성을 넓히고 발전을 촉진할 것으로 기대합니다. 코드는 https://github.com/sail-sg/lorahub에서 제공될 예정입니다.
English
Low-rank adaptations (LoRA) are often employed to fine-tune large language
models (LLMs) for new tasks. This paper investigates LoRA composability for
cross-task generalization and introduces LoraHub, a strategic framework devised
for the purposive assembly of LoRA modules trained on diverse given tasks, with
the objective of achieving adaptable performance on unseen tasks. With just a
few examples from a novel task, LoraHub enables the fluid combination of
multiple LoRA modules, eradicating the need for human expertise. Notably, the
composition requires neither additional model parameters nor gradients. Our
empirical results, derived from the Big-Bench Hard (BBH) benchmark, suggest
that LoraHub can effectively mimic the performance of in-context learning in
few-shot scenarios, excluding the necessity of in-context examples alongside
each inference input. A significant contribution of our research is the
fostering of a community for LoRA, where users can share their trained LoRA
modules, thereby facilitating their application to new tasks. We anticipate
this resource will widen access to and spur advancements in general
intelligence as well as LLMs in production. Code will be available at
https://github.com/sail-sg/lorahub.