LoraHub: Generalização Eficiente entre Tarefas via Composição Dinâmica de LoRA
LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition
July 25, 2023
Autores: Chengsong Huang, Qian Liu, Bill Yuchen Lin, Tianyu Pang, Chao Du, Min Lin
cs.AI
Resumo
Adaptações de baixo posto (LoRA) são frequentemente empregadas para ajustar finamente modelos de linguagem de grande escala (LLMs) para novas tarefas. Este artigo investiga a composabilidade de LoRA para generalização entre tarefas e introduz o LoraHub, um framework estratégico concebido para a montagem proposital de módulos LoRA treinados em diversas tarefas dadas, com o objetivo de alcançar desempenho adaptável em tarefas não vistas. Com apenas alguns exemplos de uma nova tarefa, o LoraHub permite a combinação fluida de múltiplos módulos LoRA, eliminando a necessidade de expertise humana. Notavelmente, a composição não requer parâmetros adicionais do modelo nem gradientes. Nossos resultados empíricos, derivados do benchmark Big-Bench Hard (BBH), sugerem que o LoraHub pode efetivamente imitar o desempenho do aprendizado em contexto em cenários de poucos exemplos, excluindo a necessidade de exemplos em contexto junto a cada entrada de inferência. Uma contribuição significativa de nossa pesquisa é o fomento de uma comunidade para LoRA, onde os usuários podem compartilhar seus módulos LoRA treinados, facilitando assim sua aplicação a novas tarefas. Antecipamos que este recurso ampliará o acesso e impulsionará avanços em inteligência geral, bem como em LLMs em produção. O código estará disponível em https://github.com/sail-sg/lorahub.
English
Low-rank adaptations (LoRA) are often employed to fine-tune large language
models (LLMs) for new tasks. This paper investigates LoRA composability for
cross-task generalization and introduces LoraHub, a strategic framework devised
for the purposive assembly of LoRA modules trained on diverse given tasks, with
the objective of achieving adaptable performance on unseen tasks. With just a
few examples from a novel task, LoraHub enables the fluid combination of
multiple LoRA modules, eradicating the need for human expertise. Notably, the
composition requires neither additional model parameters nor gradients. Our
empirical results, derived from the Big-Bench Hard (BBH) benchmark, suggest
that LoraHub can effectively mimic the performance of in-context learning in
few-shot scenarios, excluding the necessity of in-context examples alongside
each inference input. A significant contribution of our research is the
fostering of a community for LoRA, where users can share their trained LoRA
modules, thereby facilitating their application to new tasks. We anticipate
this resource will widen access to and spur advancements in general
intelligence as well as LLMs in production. Code will be available at
https://github.com/sail-sg/lorahub.