Instruktionsoptimierte Sprachmodelle sind bessere Wissenslerner.

Instruction-tuned Language Models are Better Knowledge Learners

February 20, 2024

Autoren: Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srinivasan Iyer

cs.AI

Zusammenfassung

Damit Assistenten auf Basis großer Sprachmodelle (LLMs) effektiv auf sich entwickelnde Informationsbedürfnisse reagieren können, muss es möglich sein, ihr faktisches Wissen durch kontinuierliches Training mit neuen Daten zu aktualisieren. Die Standardmethode hierfür umfasst fortgesetztes Vortraining auf neuen Dokumenten, gefolgt von Instruktions-Finetuning auf Frage-Antwort-Paaren (QA-Paaren). Wir stellen jedoch fest, dass LLMs, die nach diesem Verfahren trainiert werden, Schwierigkeiten haben, Fragen zu beantworten, obwohl die Perplexität der Dokumente minimiert wird. Wir fanden heraus, dass QA-Paare im Allgemeinen einfach strukturiert sind, während Dokumente komplexer sind und viele Fakten auf eine verflochtene Weise miteinander verbinden. Daher nehmen wir an, dass es vorteilhaft ist, LLMs zunächst QA-Paaren auszusetzen, bevor das fortgesetzte Vortraining auf Dokumenten erfolgt, sodass der Prozess der Wissenscodierung aus komplexen Dokumenten berücksichtigt, wie dieses Wissen durch Fragen abgerufen wird. Basierend darauf schlagen wir Pre-Instruction-Tuning (PIT) vor, eine Methode, bei der das Instruktions-Finetuning auf Fragen vor dem Training auf Dokumenten erfolgt. Dies steht im Gegensatz zum Standard-Instruktions-Finetuning, bei dem das Extrahieren von Wissen erst nach dem Training auf Dokumenten erlernt wird. Umfangreiche Experimente und Ablationsstudien zeigen, dass PIT die Fähigkeit von LLMs, Wissen aus neuen Dokumenten aufzunehmen, signifikant verbessert und das Standard-Instruktions-Finetuning um 17,8 % übertrifft.

English

In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that PIT significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.