LoraHub : Généralisation efficace entre tâches via une composition dynamique de LoRA
LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition
July 25, 2023
Auteurs: Chengsong Huang, Qian Liu, Bill Yuchen Lin, Tianyu Pang, Chao Du, Min Lin
cs.AI
Résumé
Les adaptations de faible rang (LoRA) sont souvent utilisées pour affiner les grands modèles de langage (LLMs) pour de nouvelles tâches. Cet article explore la composabilité des LoRA pour la généralisation inter-tâches et présente LoraHub, un cadre stratégique conçu pour l'assemblage intentionnel de modules LoRA entraînés sur diverses tâches données, dans le but d'obtenir des performances adaptables sur des tâches inédites. Avec seulement quelques exemples d'une nouvelle tâche, LoraHub permet la combinaison fluide de plusieurs modules LoRA, éliminant ainsi le besoin d'expertise humaine. Notamment, la composition ne nécessite ni paramètres supplémentaires du modèle ni gradients. Nos résultats empiriques, issus du benchmark Big-Bench Hard (BBH), suggèrent que LoraHub peut efficacement imiter les performances de l'apprentissage en contexte dans des scénarios à faible échantillon, sans nécessiter d'exemples en contexte à côté de chaque entrée d'inférence. Une contribution significative de notre recherche est la promotion d'une communauté pour LoRA, où les utilisateurs peuvent partager leurs modules LoRA entraînés, facilitant ainsi leur application à de nouvelles tâches. Nous anticipons que cette ressource élargira l'accès et stimulera les avancées en intelligence générale ainsi que dans les LLMs en production. Le code sera disponible à l'adresse https://github.com/sail-sg/lorahub.
English
Low-rank adaptations (LoRA) are often employed to fine-tune large language
models (LLMs) for new tasks. This paper investigates LoRA composability for
cross-task generalization and introduces LoraHub, a strategic framework devised
for the purposive assembly of LoRA modules trained on diverse given tasks, with
the objective of achieving adaptable performance on unseen tasks. With just a
few examples from a novel task, LoraHub enables the fluid combination of
multiple LoRA modules, eradicating the need for human expertise. Notably, the
composition requires neither additional model parameters nor gradients. Our
empirical results, derived from the Big-Bench Hard (BBH) benchmark, suggest
that LoraHub can effectively mimic the performance of in-context learning in
few-shot scenarios, excluding the necessity of in-context examples alongside
each inference input. A significant contribution of our research is the
fostering of a community for LoRA, where users can share their trained LoRA
modules, thereby facilitating their application to new tasks. We anticipate
this resource will widen access to and spur advancements in general
intelligence as well as LLMs in production. Code will be available at
https://github.com/sail-sg/lorahub.