Les modèles de langage ajustés par instruction sont de meilleurs apprenants de connaissances.

Instruction-tuned Language Models are Better Knowledge Learners

February 20, 2024

papers.authors: Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srinivasan Iyer

cs.AI

papers.abstract

Pour que les assistants basés sur de grands modèles de langage (LLM) puissent s'adapter efficacement à des besoins d'information en évolution, il est essentiel de mettre à jour leurs connaissances factuelles par un entraînement continu sur de nouvelles données. La méthode standard pour y parvenir consiste en un pré-entraînement continu sur de nouveaux documents, suivi d'un réglage par instructions sur des paires question-réponse (QA). Cependant, nous constatons que les LLM entraînés selon cette méthode peinent à répondre aux questions, bien que la perplexité des documents soit minimisée. Nous avons observé que les paires QA sont généralement simples, tandis que les documents sont plus complexes, entrelaçant de nombreuses affirmations factuelles de manière intricate. Par conséquent, nous émettons l'hypothèse qu'il est bénéfique d'exposer les LLM à des paires QA avant le pré-entraînement continu sur des documents, afin que le processus d'encodage des connaissances à partir de documents complexes prenne en compte la manière dont ces connaissances sont accédées via des questions. Sur cette base, nous proposons le pré-réglage par instructions (PIT), une méthode qui effectue un réglage par instructions sur des questions avant l'entraînement sur des documents. Cela contraste avec le réglage par instructions standard, qui apprend à extraire des connaissances après l'entraînement sur des documents. Des expériences approfondies et des études d'ablation démontrent que le PIT améliore significativement la capacité des LLM à absorber des connaissances à partir de nouveaux documents, surpassant le réglage par instructions standard de 17,8 %.

English

In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that PIT significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.