LLM拡張LLM：構成による能力の拡張

LLM Augmented LLMs: Expanding Capabilities through Composition

January 4, 2024

著者: Rachit Bansal, Bidisha Samanta, Siddharth Dalmia, Nitish Gupta, Shikhar Vashishth, Sriram Ganapathy, Abhishek Bapna, Prateek Jain, Partha Talukdar

cs.AI

要旨

数十億のパラメータを持つ基盤モデルは、大規模なデータコーパスで学習されることで、様々なドメインにおいて非自明なスキルを発揮することが実証されています。しかし、そのモノリシックな構造のため、これらのモデルを拡張したり新しいスキルを付与したりすることは困難でコストがかかります。一方で、その適応能力の高さから、これらのモデルの新しいインスタンスが新たなドメインやタスクに向けて学習されています。本研究では、既存の基盤モデルとより特定のモデルを効率的かつ実用的に組み合わせることで、新たな能力を実現する問題を探求します。この目的のために、我々はCALM（Composition to Augment Language Models）を提案します。CALMは、モデル間のクロスアテンションを導入し、それらの表現を組み合わせて新たな能力を可能にします。CALMの主な特徴は以下の通りです：(i) 既存のLLMを「再利用」し、追加のパラメータとデータを少量使用することで、新しいタスクにおいてLLMをスケールアップする、(ii) 既存のモデルの重みはそのまま保持され、既存の能力を維持する、(iii) 多様なドメインや設定に適用可能である。我々は、PaLM2-Sに低リソース言語向けに学習された小規模モデルを組み合わせることで、低リソース言語の英語翻訳や算術推論などのタスクにおいて最大13％の絶対的な改善を示しました。同様に、PaLM2-Sにコード特化モデルを組み合わせた場合、コード生成と説明タスクにおいてベースモデルに対して40％の相対的な改善が見られ、完全にファインチューニングされたモデルと同等の性能を発揮しました。

English

Foundational models with billions of parameters which have been trained on large corpora of data have demonstrated non-trivial skills in a variety of domains. However, due to their monolithic structure, it is challenging and expensive to augment them or impart new skills. On the other hand, due to their adaptation abilities, several new instances of these models are being trained towards new domains and tasks. In this work, we study the problem of efficient and practical composition of existing foundation models with more specific models to enable newer capabilities. To this end, we propose CALM -- Composition to Augment Language Models -- which introduces cross-attention between models to compose their representations and enable new capabilities. Salient features of CALM are: (i) Scales up LLMs on new tasks by 're-using' existing LLMs along with a few additional parameters and data, (ii) Existing model weights are kept intact, and hence preserves existing capabilities, and (iii) Applies to diverse domains and settings. We illustrate that augmenting PaLM2-S with a smaller model trained on low-resource languages results in an absolute improvement of up to 13\% on tasks like translation into English and arithmetic reasoning for low-resource languages. Similarly, when PaLM2-S is augmented with a code-specific model, we see a relative improvement of 40\% over the base model for code generation and explanation tasks -- on-par with fully fine-tuned counterparts.