Taalmodellen afgestemd op instructies zijn betere kennisverwervers.

Instruction-tuned Language Models are Better Knowledge Learners

February 20, 2024

Auteurs: Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srinivasan Iyer

cs.AI

Samenvatting

Om grote taalmodellen (LLM)-gebaseerde assistenten effectief te laten inspelen op veranderende informatiebehoeften, moet het mogelijk zijn om hun feitelijke kennis bij te werken door voortdurende training op nieuwe gegevens. De standaardaanpak hiervoor bestaat uit voortgezet vooraf trainen op nieuwe documenten, gevolgd door instructie-afstemming op vraag-antwoord (QA) paren. Wij constateren echter dat LLM's die met deze aanpak zijn getraind, moeite hebben om vragen te beantwoorden, ondanks dat de perplexiteit van documenten wordt geminimaliseerd. Wij ontdekten dat QA-paren over het algemeen eenvoudig zijn, terwijl documenten complexer zijn en veel feitelijke uitspraken op een ingewikkelde manier met elkaar verweven. Daarom stellen wij de hypothese op dat het gunstig is om LLM's eerst bloot te stellen aan QA-paren voordat ze voortgezet worden voorgetraind op documenten, zodat het proces van het coderen van kennis uit complexe documenten rekening houdt met hoe deze kennis wordt opgevraagd via vragen. Op basis hiervan stellen wij pre-instructie-afstemming (PIT) voor, een methode die eerst instructie-afstemming uitvoert op vragen voordat er wordt getraind op documenten. Dit staat in contrast met standaard instructie-afstemming, waarbij wordt geleerd hoe kennis moet worden geëxtraheerd na training op documenten. Uitgebreide experimenten en ablatiestudies tonen aan dat PIT het vermogen van LLM's om kennis uit nieuwe documenten op te nemen aanzienlijk verbetert, met een verbetering van 17,8% ten opzichte van standaard instructie-afstemming.

English

In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that PIT significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.