LLM Aumentados con LLM: Ampliando Capacidades mediante Composición

LLM Augmented LLMs: Expanding Capabilities through Composition

January 4, 2024

Autores: Rachit Bansal, Bidisha Samanta, Siddharth Dalmia, Nitish Gupta, Shikhar Vashishth, Sriram Ganapathy, Abhishek Bapna, Prateek Jain, Partha Talukdar

cs.AI

Resumen

Los modelos fundamentales con miles de millones de parámetros, entrenados en grandes corpus de datos, han demostrado habilidades no triviales en una variedad de dominios. Sin embargo, debido a su estructura monolítica, es desafiante y costoso aumentarlos o impartirles nuevas habilidades. Por otro lado, gracias a sus capacidades de adaptación, se están entrenando varias nuevas instancias de estos modelos para nuevos dominios y tareas. En este trabajo, estudiamos el problema de la composición eficiente y práctica de modelos fundamentales existentes con modelos más específicos para habilitar nuevas capacidades. Con este fin, proponemos CALM -- Composición para Aumentar Modelos de Lenguaje -- que introduce atención cruzada entre modelos para componer sus representaciones y permitir nuevas capacidades. Las características destacadas de CALM son: (i) Escala modelos de lenguaje grandes (LLMs) en nuevas tareas al "reutilizar" LLMs existentes junto con algunos parámetros y datos adicionales, (ii) Los pesos del modelo existente se mantienen intactos, preservando así las capacidades actuales, y (iii) Se aplica a diversos dominios y configuraciones. Demostramos que aumentar PaLM2-S con un modelo más pequeño entrenado en lenguajes de bajos recursos resulta en una mejora absoluta de hasta el 13\% en tareas como la traducción al inglés y el razonamiento aritmético para lenguajes de bajos recursos. De manera similar, cuando PaLM2-S se aumenta con un modelo específico para código, observamos una mejora relativa del 40\% sobre el modelo base para tareas de generación y explicación de código -- a la par con contrapartes completamente ajustadas.

English

Foundational models with billions of parameters which have been trained on large corpora of data have demonstrated non-trivial skills in a variety of domains. However, due to their monolithic structure, it is challenging and expensive to augment them or impart new skills. On the other hand, due to their adaptation abilities, several new instances of these models are being trained towards new domains and tasks. In this work, we study the problem of efficient and practical composition of existing foundation models with more specific models to enable newer capabilities. To this end, we propose CALM -- Composition to Augment Language Models -- which introduces cross-attention between models to compose their representations and enable new capabilities. Salient features of CALM are: (i) Scales up LLMs on new tasks by 're-using' existing LLMs along with a few additional parameters and data, (ii) Existing model weights are kept intact, and hence preserves existing capabilities, and (iii) Applies to diverse domains and settings. We illustrate that augmenting PaLM2-S with a smaller model trained on low-resource languages results in an absolute improvement of up to 13\% on tasks like translation into English and arithmetic reasoning for low-resource languages. Similarly, when PaLM2-S is augmented with a code-specific model, we see a relative improvement of 40\% over the base model for code generation and explanation tasks -- on-par with fully fine-tuned counterparts.