RAFT: Адаптация языковой модели к доменно-специфическому RAG

RAFT: Adapting Language Model to Domain Specific RAG

March 15, 2024

Авторы: Tianjun Zhang, Shishir G. Patil, Naman Jain, Sheng Shen, Matei Zaharia, Ion Stoica, Joseph E. Gonzalez

cs.AI

Аннотация

Предварительное обучение больших языковых моделей (LLM) на больших корпусах текстовых данных теперь является стандартной парадигмой. При использовании этих LLM для многих последующих приложений обычно дополнительно внедряют новые знания (например, актуальные новости или знания в частной области) в предварительно обученную модель либо через RAG-основанный подход, либо через донастройку. Однако оптимальная методология для модели, чтобы усвоить такие новые знания, остается открытым вопросом. В этой статье мы представляем Retrieval Augmented FineTuning (RAFT), метод обучения, который улучшает способность модели отвечать на вопросы в "открытой книге" внутри области применения. В RAFT, имея вопрос и набор извлеченных документов, мы обучаем модель игнорировать те документы, которые не помогают ответить на вопрос, которые мы называем дистракторными документами. RAFT достигает этого, цитируя дословно правильную последовательность из соответствующего документа, которая поможет ответить на вопрос. Это в сочетании с ответом в стиле цепочки мыслей RAFT помогает улучшить способность модели к рассуждению. В областно-специфичном RAG RAFT последовательно улучшает производительность модели на наборах данных PubMed, HotpotQA и Gorilla, представляя методику пост-обучения для улучшения предварительно обученных LLM в области RAG. Код и демонстрация RAFT доступны в открытом доступе на github.com/ShishirPatil/gorilla.

English

Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or fine-tuning. However, the optimal methodology for the model to gain such new knowledge remains an open question. In this paper, we present Retrieval Augmented FineTuning (RAFT), a training recipe that improves the model's ability to answer questions in a "open-book" in-domain settings. In RAFT, given a question, and a set of retrieved documents, we train the model to ignore those documents that don't help in answering the question, which we call, distractor documents. RAFT accomplishes this by citing verbatim the right sequence from the relevant document that would help answer the question. This coupled with RAFT's chain-of-thought-style response helps improve the model's ability to reason. In domain-specific RAG, RAFT consistently improves the model's performance across PubMed, HotpotQA, and Gorilla datasets, presenting a post-training recipe to improve pre-trained LLMs to in-domain RAG. RAFT's code and demo are open-sourced at github.com/ShishirPatil/gorilla.