Языковые модели, настроенные на выполнение инструкций, демонстрируют более эффективное усвоение знаний.

Instruction-tuned Language Models are Better Knowledge Learners

February 20, 2024

Авторы: Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srinivasan Iyer

cs.AI

Аннотация

Для того чтобы ассистенты на основе больших языковых моделей (LLM) могли эффективно адаптироваться к изменяющимся информационным потребностям, необходимо обновлять их фактические знания путем продолжения обучения на новых данных. Стандартный подход для этого включает продолжение предварительного обучения на новых документах с последующей настройкой на инструкциях с использованием пар вопрос-ответ (QA). Однако мы обнаружили, что LLM, обученные по этому методу, испытывают трудности с ответами на вопросы, несмотря на минимизацию перплексии документов. Мы выяснили, что пары QA, как правило, более просты, тогда как документы сложнее, объединяя множество фактов в сложной манере. Поэтому мы предполагаем, что полезно знакомить LLM с парами QA до продолжения предварительного обучения на документах, чтобы процесс кодирования знаний из сложных документов учитывал, как эти знания извлекаются через вопросы. На основе этого мы предлагаем метод предварительной настройки на инструкциях (PIT), который выполняет настройку на вопросах перед обучением на документах. Это отличается от стандартной настройки на инструкциях, которая учится извлекать знания после обучения на документах. Многочисленные эксперименты и исследования показывают, что PIT значительно улучшает способность LLM усваивать знания из новых документов, превосходя стандартную настройку на инструкциях на 17,8%.

English

In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that PIT significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.