I modelli linguistici ottimizzati per le istruzioni sono migliori nell'apprendimento della conoscenza.

Instruction-tuned Language Models are Better Knowledge Learners

February 20, 2024

Autori: Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srinivasan Iyer

cs.AI

Abstract

Affinché gli assistenti basati su modelli linguistici di grandi dimensioni (LLM) possano adattarsi efficacemente alle esigenze informative in evoluzione, è necessario aggiornare la loro conoscenza fattuale attraverso un addestramento continuo su nuovi dati. La procedura standard per farlo prevede un pre-addestramento continuo su nuovi documenti seguito da un instruction-tuning su coppie domanda-risposta (QA). Tuttavia, abbiamo osservato che gli LLM addestrati con questa procedura faticano a rispondere alle domande, nonostante la perplessità dei documenti sia minimizzata. Abbiamo riscontrato che le coppie QA sono generalmente semplici, mentre i documenti sono più complessi, intrecciando molte affermazioni fattuali in modo intricato. Pertanto, ipotizziamo che sia vantaggioso esporre gli LLM a coppie QA prima del pre-addestramento continuo sui documenti, in modo che il processo di codifica della conoscenza da documenti complessi tenga conto di come questa conoscenza viene accessibile attraverso le domande. Sulla base di ciò, proponiamo il pre-instruction-tuning (PIT), un metodo che esegue l'instruction-tuning sulle domande prima dell'addestramento sui documenti. Questo si contrappone all'instruction-tuning standard, che impara come estrarre la conoscenza dopo l'addestramento sui documenti. Esperimenti estesi e studi di ablazione dimostrano che il PIT migliora significativamente la capacità degli LLM di assorbire conoscenza da nuovi documenti, superando l'instruction-tuning standard del 17,8%.

English

In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that PIT significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.