LLMs Aumentados por LLMs: Expandindo Capacidades por meio de Composição

Resumo

Modelos fundamentais com bilhões de parâmetros, treinados em grandes corpora de dados, demonstraram habilidades significativas em uma variedade de domínios. No entanto, devido à sua estrutura monolítica, é desafiador e custoso aumentá-los ou incorporar novas habilidades. Por outro lado, devido às suas capacidades de adaptação, várias novas instâncias desses modelos estão sendo treinadas para novos domínios e tarefas. Neste trabalho, estudamos o problema da composição eficiente e prática de modelos fundamentais existentes com modelos mais específicos para habilitar novas capacidades. Para isso, propomos o CALM -- Composition to Augment Language Models -- que introduz a atenção cruzada entre modelos para compor suas representações e permitir novas funcionalidades. As características principais do CALM são: (i) Escala modelos de linguagem grandes (LLMs) em novas tarefas ao "reutilizar" LLMs existentes juntamente com alguns parâmetros e dados adicionais, (ii) Os pesos dos modelos existentes são mantidos intactos, preservando assim as capacidades atuais, e (iii) Aplica-se a diversos domínios e contextos. Demonstramos que aumentar o PaLM2-S com um modelo menor treinado em idiomas de baixo recurso resulta em uma melhoria absoluta de até 13% em tarefas como tradução para o inglês e raciocínio aritmético para idiomas de baixo recurso. Da mesma forma, quando o PaLM2-S é aumentado com um modelo específico para código, observamos uma melhoria relativa de 40% em relação ao modelo base para tarefas de geração e explicação de código -- em par com contrapartes totalmente ajustadas.

English

Foundational models with billions of parameters which have been trained on large corpora of data have demonstrated non-trivial skills in a variety of domains. However, due to their monolithic structure, it is challenging and expensive to augment them or impart new skills. On the other hand, due to their adaptation abilities, several new instances of these models are being trained towards new domains and tasks. In this work, we study the problem of efficient and practical composition of existing foundation models with more specific models to enable newer capabilities. To this end, we propose CALM -- Composition to Augment Language Models -- which introduces cross-attention between models to compose their representations and enable new capabilities. Salient features of CALM are: (i) Scales up LLMs on new tasks by 're-using' existing LLMs along with a few additional parameters and data, (ii) Existing model weights are kept intact, and hence preserves existing capabilities, and (iii) Applies to diverse domains and settings. We illustrate that augmenting PaLM2-S with a smaller model trained on low-resource languages results in an absolute improvement of up to 13\% on tasks like translation into English and arithmetic reasoning for low-resource languages. Similarly, when PaLM2-S is augmented with a code-specific model, we see a relative improvement of 40\% over the base model for code generation and explanation tasks -- on-par with fully fine-tuned counterparts.

LLMs Aumentados por LLMs: Expandindo Capacidades por meio de Composição

LLM Augmented LLMs: Expanding Capabilities through Composition

Resumo

Support