命令チューニングされた言語モデルは、より優れた知識学習者である

Instruction-tuned Language Models are Better Knowledge Learners

February 20, 2024

著者: Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srinivasan Iyer

cs.AI

要旨

大規模言語モデル（LLM）ベースのアシスタントが進化する情報ニーズに効果的に適応するためには、新しいデータを用いた継続的な学習を通じてその事実知識を更新可能にする必要がある。これを行うための標準的な手法は、新しい文書に対する継続的な事前学習と、その後の質問応答（QA）ペアを用いた指示チューニング（instruction-tuning）から成る。しかし、この手法で学習されたLLMは、文書のパープレキシティが最小化されているにもかかわらず、質問に答えることに苦労することがわかった。我々は、QAペアは一般的に単純である一方、文書はより複雑で、多くの事実を入り組んだ形で織り交ぜていることを発見した。したがって、複雑な文書から知識をエンコードするプロセスにおいて、その知識がどのように質問を通じてアクセスされるかを考慮に入れるため、LLMに文書の継続的な事前学習の前にQAペアを提示することが有益であると仮説を立てた。これに基づき、我々は文書学習の前に質問を用いて指示チューニングを行う「事前指示チューニング（Pre-Instruction-Tuning, PIT）」を提案する。これは、文書学習後に知識を抽出する方法を学ぶ標準的な指示チューニングとは対照的である。大規模な実験とアブレーションスタディにより、PITがLLMの新規文書からの知識吸収能力を大幅に向上させ、標準的な指示チューニングを17.8%上回ることが実証された。

English

In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that PIT significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.