Ottimizzazione Istruttiva per la Rappresentazione Generativa

Generative Representational Instruction Tuning

February 15, 2024

Autori: Niklas Muennighoff, Hongjin Su, Liang Wang, Nan Yang, Furu Wei, Tao Yu, Amanpreet Singh, Douwe Kiela

cs.AI

Abstract

Tutti i problemi linguistici basati su testo possono essere ridotti a generazione o embedding. I modelli attuali riescono a eccellere solo in uno dei due ambiti. Introduciamo il "generative representational instruction tuning" (GRIT), con cui un modello linguistico di grandi dimensioni viene addestrato a gestire sia compiti generativi che di embedding, distinguendoli attraverso istruzioni. Rispetto ad altri modelli open, il nostro GritLM 7B stabilisce un nuovo stato dell'arte sul Massive Text Embedding Benchmark (MTEB) e supera tutti i modelli di dimensioni simili in una gamma di compiti generativi. Scalando ulteriormente, GritLM 8x7B supera tutti i modelli linguistici generativi open che abbiamo testato, rimanendo comunque tra i migliori modelli di embedding. È interessante notare che GRIT eguaglia l'addestramento su soli dati generativi o di embedding, consentendo di unificarli senza perdita di prestazioni. Tra gli altri vantaggi, l'unificazione tramite GRIT accelera il Retrieval-Augmented Generation (RAG) di oltre il 60% per documenti lunghi, eliminando la necessità di modelli separati per il recupero e la generazione. Modelli, codice e altro sono disponibili liberamente su https://github.com/ContextualAI/gritlm.

English

All text-based language problems can be reduced to either generation or embedding. Current models only perform well at one or the other. We introduce generative representational instruction tuning (GRIT) whereby a large language model is trained to handle both generative and embedding tasks by distinguishing between them through instructions. Compared to other open models, our resulting GritLM 7B sets a new state of the art on the Massive Text Embedding Benchmark (MTEB) and outperforms all models up to its size on a range of generative tasks. By scaling up further, GritLM 8x7B outperforms all open generative language models that we tried while still being among the best embedding models. Notably, we find that GRIT matches training on only generative or embedding data, thus we can unify both at no performance loss. Among other benefits, the unification via GRIT speeds up Retrieval-Augmented Generation (RAG) by > 60% for long documents, by no longer requiring separate retrieval and generation models. Models, code, etc. are freely available at https://github.com/ContextualAI/gritlm.