LoraHub: Effiziente übergreifende Aufgabenverallgemeinerung durch dynamische LoRA-Komposition

LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition

July 25, 2023

Autoren: Chengsong Huang, Qian Liu, Bill Yuchen Lin, Tianyu Pang, Chao Du, Min Lin

cs.AI

Zusammenfassung

Low-Rank-Adaptationen (LoRA) werden häufig eingesetzt, um große Sprachmodelle (LLMs) für neue Aufgaben zu feinabstimmen. Diese Arbeit untersucht die Komponierbarkeit von LoRA für die generalisierte Anwendung über verschiedene Aufgaben hinweg und stellt LoraHub vor, ein strategisches Framework, das für den gezielten Zusammenschluss von LoRA-Modulen entwickelt wurde, die auf unterschiedlichen Aufgaben trainiert wurden, mit dem Ziel, anpassungsfähige Leistungen bei unbekannten Aufgaben zu erzielen. Mit nur wenigen Beispielen einer neuen Aufgabe ermöglicht LoraHub die flüssige Kombination mehrerer LoRA-Module, wodurch die Notwendigkeit menschlicher Expertise entfällt. Bemerkenswerterweise erfordert die Zusammensetzung weder zusätzliche Modellparameter noch Gradienten. Unsere empirischen Ergebnisse, die auf dem Big-Bench Hard (BBH) Benchmark basieren, deuten darauf hin, dass LoraHub effektiv die Leistung von In-Context-Lernen in Few-Shot-Szenarien nachahmen kann, ohne die Notwendigkeit von In-Context-Beispielen bei jedem Inferenzeingang. Ein bedeutender Beitrag unserer Forschung ist die Förderung einer Community für LoRA, in der Benutzer ihre trainierten LoRA-Module teilen können, wodurch deren Anwendung auf neue Aufgaben erleichtert wird. Wir erwarten, dass diese Ressource den Zugang zu und die Fortschritte in der allgemeinen Intelligenz sowie in produktiven LLMs erweitern wird. Der Code wird unter https://github.com/sail-sg/lorahub verfügbar sein.

English

Low-rank adaptations (LoRA) are often employed to fine-tune large language models (LLMs) for new tasks. This paper investigates LoRA composability for cross-task generalization and introduces LoraHub, a strategic framework devised for the purposive assembly of LoRA modules trained on diverse given tasks, with the objective of achieving adaptable performance on unseen tasks. With just a few examples from a novel task, LoraHub enables the fluid combination of multiple LoRA modules, eradicating the need for human expertise. Notably, the composition requires neither additional model parameters nor gradients. Our empirical results, derived from the Big-Bench Hard (BBH) benchmark, suggest that LoraHub can effectively mimic the performance of in-context learning in few-shot scenarios, excluding the necessity of in-context examples alongside each inference input. A significant contribution of our research is the fostering of a community for LoRA, where users can share their trained LoRA modules, thereby facilitating their application to new tasks. We anticipate this resource will widen access to and spur advancements in general intelligence as well as LLMs in production. Code will be available at https://github.com/sail-sg/lorahub.