RAFT: Anpassung des Sprachmodells an den domänenspezifischen RAG

RAFT: Adapting Language Model to Domain Specific RAG

March 15, 2024

Autoren: Tianjun Zhang, Shishir G. Patil, Naman Jain, Sheng Shen, Matei Zaharia, Ion Stoica, Joseph E. Gonzalez

cs.AI

Zusammenfassung

Das Vortrainieren großer Sprachmodelle (LLMs) auf umfangreichen Textdatensätzen ist mittlerweile ein Standardparadigma. Wenn diese LLMs für zahlreiche nachgelagerte Anwendungen verwendet werden, ist es üblich, zusätzlich neues Wissen (z. B. zeitkritische Nachrichten oder privates Domänenwissen) in das vortrainierte Modell einzubinden, entweder durch RAG-basiertes Prompting oder Feinabstimmung. Die optimale Methodik für das Modell, um ein solches neues Wissen zu erlangen, bleibt jedoch eine offene Frage. In diesem Paper präsentieren wir Retrieval Augmented FineTuning (RAFT), ein Schulungsrezept, das die Fähigkeit des Modells verbessert, Fragen in einem "offenen Buch" in-domänen Umfeld zu beantworten. Bei RAFT trainieren wir das Modell, bei einer Frage und einer Reihe von abgerufenen Dokumenten, diejenigen Dokumente zu ignorieren, die nicht bei der Beantwortung der Frage helfen, die wir als Ablenkungsdokumente bezeichnen. RAFT erreicht dies, indem es wortwörtlich die richtige Sequenz aus dem relevanten Dokument zitiert, die bei der Beantwortung der Frage helfen würde. Dies zusammen mit der kettenartigen Antwort im Stil des Denkens von RAFT hilft, die Fähigkeit des Modells zu verbessern, zu argumentieren. In domänenspezifischen RAG verbessert RAFT konsistent die Leistung des Modells über die PubMed-, HotpotQA- und Gorilla-Datensätze hinweg und präsentiert ein Nachtrainingsrezept zur Verbesserung vortrainierter LLMs für in-domäne RAG. Der Code und die Demo von RAFT sind unter github.com/ShishirPatil/gorilla als Open Source verfügbar.

English

Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or fine-tuning. However, the optimal methodology for the model to gain such new knowledge remains an open question. In this paper, we present Retrieval Augmented FineTuning (RAFT), a training recipe that improves the model's ability to answer questions in a "open-book" in-domain settings. In RAFT, given a question, and a set of retrieved documents, we train the model to ignore those documents that don't help in answering the question, which we call, distractor documents. RAFT accomplishes this by citing verbatim the right sequence from the relevant document that would help answer the question. This coupled with RAFT's chain-of-thought-style response helps improve the model's ability to reason. In domain-specific RAG, RAFT consistently improves the model's performance across PubMed, HotpotQA, and Gorilla datasets, presenting a post-training recipe to improve pre-trained LLMs to in-domain RAG. RAFT's code and demo are open-sourced at github.com/ShishirPatil/gorilla.