LLM-augmented LLM's: Uitbreiding van mogelijkheden door compositie

Samenvatting

Fundamentele modellen met miljarden parameters die zijn getraind op grote datasets hebben aanzienlijke vaardigheden getoond in diverse domeinen. Echter, vanwege hun monolithische structuur is het uitdagend en kostbaar om ze uit te breiden of nieuwe vaardigheden aan te leren. Aan de andere kant worden, vanwege hun aanpassingsvermogen, verschillende nieuwe instanties van deze modellen getraind voor nieuwe domeinen en taken. In dit werk bestuderen we het probleem van efficiënte en praktische compositie van bestaande fundamentele modellen met meer specifieke modellen om nieuwe mogelijkheden te creëren. Hiertoe stellen we CALM voor -- Composition to Augment Language Models -- dat cross-attentie introduceert tussen modellen om hun representaties te combineren en nieuwe mogelijkheden te bieden. Belangrijke kenmerken van CALM zijn: (i) Het schaalt grote taalmodellen (LLMs) op voor nieuwe taken door bestaande LLMs te 'hergebruiken' samen met enkele aanvullende parameters en data, (ii) Bestaande modelgewichten blijven intact, waardoor bestaande mogelijkheden behouden blijven, en (iii) Het is toepasbaar in diverse domeinen en settings. We laten zien dat het uitbreiden van PaLM2-S met een kleiner model dat is getraind op talen met beperkte bronnen, resulteert in een absolute verbetering van tot 13\% op taken zoals vertaling naar het Engels en rekenkundig redeneren voor talen met beperkte bronnen. Evenzo, wanneer PaLM2-S wordt uitgebreid met een model specifiek voor code, zien we een relatieve verbetering van 40\% ten opzichte van het basismodel voor taken zoals codegeneratie en uitleg -- vergelijkbaar met volledig gefinetunede tegenhangers.

English

Foundational models with billions of parameters which have been trained on large corpora of data have demonstrated non-trivial skills in a variety of domains. However, due to their monolithic structure, it is challenging and expensive to augment them or impart new skills. On the other hand, due to their adaptation abilities, several new instances of these models are being trained towards new domains and tasks. In this work, we study the problem of efficient and practical composition of existing foundation models with more specific models to enable newer capabilities. To this end, we propose CALM -- Composition to Augment Language Models -- which introduces cross-attention between models to compose their representations and enable new capabilities. Salient features of CALM are: (i) Scales up LLMs on new tasks by 're-using' existing LLMs along with a few additional parameters and data, (ii) Existing model weights are kept intact, and hence preserves existing capabilities, and (iii) Applies to diverse domains and settings. We illustrate that augmenting PaLM2-S with a smaller model trained on low-resource languages results in an absolute improvement of up to 13\% on tasks like translation into English and arithmetic reasoning for low-resource languages. Similarly, when PaLM2-S is augmented with a code-specific model, we see a relative improvement of 40\% over the base model for code generation and explanation tasks -- on-par with fully fine-tuned counterparts.

LLM-augmented LLM's: Uitbreiding van mogelijkheden door compositie

LLM Augmented LLMs: Expanding Capabilities through Composition

Samenvatting

Support