Языковые модели, настроенные на выполнение инструкций, демонстрируют более эффективное усвоение знаний.
Instruction-tuned Language Models are Better Knowledge Learners
February 20, 2024
Авторы: Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srinivasan Iyer
cs.AI
Аннотация
Для того чтобы ассистенты на основе больших языковых моделей (LLM) могли эффективно адаптироваться к изменяющимся информационным потребностям, необходимо обновлять их фактические знания путем продолжения обучения на новых данных. Стандартный подход для этого включает продолжение предварительного обучения на новых документах с последующей настройкой на инструкциях с использованием пар вопрос-ответ (QA). Однако мы обнаружили, что LLM, обученные по этому методу, испытывают трудности с ответами на вопросы, несмотря на минимизацию перплексии документов. Мы выяснили, что пары QA, как правило, более просты, тогда как документы сложнее, объединяя множество фактов в сложной манере. Поэтому мы предполагаем, что полезно знакомить LLM с парами QA до продолжения предварительного обучения на документах, чтобы процесс кодирования знаний из сложных документов учитывал, как эти знания извлекаются через вопросы. На основе этого мы предлагаем метод предварительной настройки на инструкциях (PIT), который выполняет настройку на вопросах перед обучением на документах. Это отличается от стандартной настройки на инструкциях, которая учится извлекать знания после обучения на документах. Многочисленные эксперименты и исследования показывают, что PIT значительно улучшает способность LLM усваивать знания из новых документов, превосходя стандартную настройку на инструкциях на 17,8%.
English
In order for large language model (LLM)-based assistants to effectively adapt
to evolving information needs, it must be possible to update their factual
knowledge through continued training on new data. The standard recipe for doing
so involves continued pre-training on new documents followed by
instruction-tuning on question-answer (QA) pairs. However, we find that LLMs
trained with this recipe struggle to answer questions, even though the
perplexity of documents is minimized. We found that QA pairs are generally
straightforward, while documents are more complex, weaving many factual
statements together in an intricate manner. Therefore, we hypothesize that it
is beneficial to expose LLMs to QA pairs before continued pre-training on
documents so that the process of encoding knowledge from complex documents
takes into account how this knowledge is accessed through questions. Based on
this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes
on questions prior to training on documents. This contrasts with standard
instruction-tuning, which learns how to extract knowledge after training on
documents. Extensive experiments and ablation studies demonstrate that PIT
significantly enhances the ability of LLMs to absorb knowledge from new
documents, outperforming standard instruction-tuning by 17.8%.Summary
AI-Generated Summary