RAFT: Taalmodel aanpassen voor domeinspecifieke RAG

Samenvatting

Het vooraf trainen van grote taalmmodellen (LLMs) op grote corpora van tekstuele gegevens is inmiddels een standaard paradigma. Bij het gebruik van deze LLMs voor veel downstream-toepassingen is het gebruikelijk om aanvullende nieuwe kennis (bijvoorbeeld tijdgevoelig nieuws of privédomeinkennis) in het vooraf getrainde model te integreren, hetzij via RAG-gebaseerde prompting, hetzij via fine-tuning. De optimale methodologie voor het model om dergelijke nieuwe kennis te verwerven, blijft echter een open vraag. In dit artikel presenteren we Retrieval Augmented FineTuning (RAFT), een trainingsmethode die het vermogen van het model verbetert om vragen te beantwoorden in een "open-boek" in-domein setting. In RAFT trainen we het model, gegeven een vraag en een set opgehaalde documenten, om die documenten die niet helpen bij het beantwoorden van de vraag te negeren, wat we afleidende documenten noemen. RAFT bereikt dit door letterlijk de juiste sequentie uit het relevante document te citeren die zou helpen bij het beantwoorden van de vraag. Dit, in combinatie met RAFT's keten-van-gedachten-stijl antwoord, helpt het redeneervermogen van het model te verbeteren. In domeinspecifieke RAG verbetert RAFT consistent de prestaties van het model over de PubMed-, HotpotQA- en Gorilla-datasets, en presenteert het een post-trainingsmethode om vooraf getrainde LLMs te verbeteren voor in-domein RAG. De code en demo van RAFT zijn openbaar beschikbaar op github.com/ShishirPatil/gorilla.

English

Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or fine-tuning. However, the optimal methodology for the model to gain such new knowledge remains an open question. In this paper, we present Retrieval Augmented FineTuning (RAFT), a training recipe that improves the model's ability to answer questions in a "open-book" in-domain settings. In RAFT, given a question, and a set of retrieved documents, we train the model to ignore those documents that don't help in answering the question, which we call, distractor documents. RAFT accomplishes this by citing verbatim the right sequence from the relevant document that would help answer the question. This coupled with RAFT's chain-of-thought-style response helps improve the model's ability to reason. In domain-specific RAG, RAFT consistently improves the model's performance across PubMed, HotpotQA, and Gorilla datasets, presenting a post-training recipe to improve pre-trained LLMs to in-domain RAG. RAFT's code and demo are open-sourced at github.com/ShishirPatil/gorilla.

RAFT: Taalmodel aanpassen voor domeinspecifieke RAG

RAFT: Adapting Language Model to Domain Specific RAG

Samenvatting

Support