Réglage Instructionnel de Représentation Générative

Generative Representational Instruction Tuning

February 15, 2024

Auteurs: Niklas Muennighoff, Hongjin Su, Liang Wang, Nan Yang, Furu Wei, Tao Yu, Amanpreet Singh, Douwe Kiela

cs.AI

Résumé

Tous les problèmes linguistiques basés sur le texte peuvent être réduits soit à la génération, soit à l'incorporation (embedding). Les modèles actuels ne performent bien que dans l'un ou l'autre de ces domaines. Nous introduisons le réglage d'instructions de représentation générative (Generative Representational Instruction Tuning, GRIT), où un grand modèle de langage est entraîné à gérer à la fois les tâches de génération et d'incorporation en les distinguant via des instructions. Comparé à d'autres modèles ouverts, notre modèle résultant, GritLM 7B, établit un nouvel état de l'art sur le Massive Text Embedding Benchmark (MTEB) et surpasse tous les modèles de sa taille sur une série de tâches génératives. En augmentant encore l'échelle, GritLM 8x7B surpasse tous les modèles de langage génératifs ouverts que nous avons testés tout en restant parmi les meilleurs modèles d'incorporation. Notamment, nous constatons que GRIT correspond à un entraînement sur des données uniquement génératives ou d'incorporation, permettant ainsi d'unifier les deux sans perte de performance. Parmi les autres avantages, l'unification via GRIT accélère la Génération Augmentée par Récupération (Retrieval-Augmented Generation, RAG) de plus de 60 % pour les documents longs, en ne nécessitant plus de modèles distincts pour la récupération et la génération. Les modèles, le code, etc. sont librement disponibles à l'adresse https://github.com/ContextualAI/gritlm.

English

All text-based language problems can be reduced to either generation or embedding. Current models only perform well at one or the other. We introduce generative representational instruction tuning (GRIT) whereby a large language model is trained to handle both generative and embedding tasks by distinguishing between them through instructions. Compared to other open models, our resulting GritLM 7B sets a new state of the art on the Massive Text Embedding Benchmark (MTEB) and outperforms all models up to its size on a range of generative tasks. By scaling up further, GritLM 8x7B outperforms all open generative language models that we tried while still being among the best embedding models. Notably, we find that GRIT matches training on only generative or embedding data, thus we can unify both at no performance loss. Among other benefits, the unification via GRIT speeds up Retrieval-Augmented Generation (RAG) by > 60% for long documents, by no longer requiring separate retrieval and generation models. Models, code, etc. are freely available at https://github.com/ContextualAI/gritlm.