生成的表現指示チューニング

Generative Representational Instruction Tuning

February 15, 2024

著者: Niklas Muennighoff, Hongjin Su, Liang Wang, Nan Yang, Furu Wei, Tao Yu, Amanpreet Singh, Douwe Kiela

cs.AI

要旨

すべてのテキストベースの言語問題は、生成または埋め込みのいずれかに還元できます。現在のモデルは、そのいずれか一方でのみ優れた性能を発揮します。本論文では、生成と埋め込みの両方のタスクを指示によって区別しながら処理するよう大規模言語モデルを訓練する、生成的表現指示チューニング（GRIT）を提案します。他のオープンモデルと比較して、我々のGritLM 7BはMassive Text Embedding Benchmark（MTEB）において新たな最先端を達成し、そのサイズまでのすべてのモデルを一連の生成タスクで上回りました。さらにスケールアップしたGritLM 8x7Bは、試したすべてのオープン生成言語モデルを上回りながら、依然として最高の埋め込みモデルの一つとなっています。特に注目すべきは、GRITが生成データまたは埋め込みデータのみでの訓練と同等の性能を発揮するため、両者を性能の損失なく統合できる点です。その他の利点として、GRITによる統合は、長文書におけるRetrieval-Augmented Generation（RAG）を60%以上高速化し、別々の検索モデルと生成モデルを必要としなくなります。モデルやコードなどは、https://github.com/ContextualAI/gritlm で自由に利用可能です。

English

All text-based language problems can be reduced to either generation or embedding. Current models only perform well at one or the other. We introduce generative representational instruction tuning (GRIT) whereby a large language model is trained to handle both generative and embedding tasks by distinguishing between them through instructions. Compared to other open models, our resulting GritLM 7B sets a new state of the art on the Massive Text Embedding Benchmark (MTEB) and outperforms all models up to its size on a range of generative tasks. By scaling up further, GritLM 8x7B outperforms all open generative language models that we tried while still being among the best embedding models. Notably, we find that GRIT matches training on only generative or embedding data, thus we can unify both at no performance loss. Among other benefits, the unification via GRIT speeds up Retrieval-Augmented Generation (RAG) by > 60% for long documents, by no longer requiring separate retrieval and generation models. Models, code, etc. are freely available at https://github.com/ContextualAI/gritlm.