지시 튜닝된 언어 모델은 더 나은 지식 학습자입니다.

초록

대규모 언어 모델(LLM) 기반 어시스턴트가 진화하는 정보 요구에 효과적으로 적응하기 위해서는 새로운 데이터에 대한 지속적인 학습을 통해 사실적 지식을 업데이트할 수 있어야 합니다. 이를 위한 표준적인 방법은 새로운 문서에 대한 지속적인 사전 학습과 질문-답변(QA) 쌍에 대한 명령어 튜닝을 포함합니다. 그러나 우리는 이 방법으로 학습된 LLM이 문서의 복잡성을 최소화함에도 불구하고 질문에 답하는 데 어려움을 겪는 것을 발견했습니다. QA 쌍은 일반적으로 단순한 반면, 문서는 여러 사실적 진술을 복잡하게 엮어내는 경향이 있습니다. 따라서 우리는 복잡한 문서에서 지식을 인코딩하는 과정이 질문을 통해 이 지식에 접근하는 방식을 고려할 수 있도록, 문서에 대한 지속적인 사전 학습 전에 LLM을 QA 쌍에 노출시키는 것이 유익할 것이라는 가설을 세웠습니다. 이를 바탕으로, 우리는 문서 학습 전에 질문에 대한 명령어 튜닝을 수행하는 사전 명령어 튜닝(PIT) 방법을 제안합니다. 이는 문서 학습 후 지식을 추출하는 방법을 학습하는 표준 명령어 튜닝과 대조됩니다. 광범위한 실험과 제거 연구를 통해 PIT가 새로운 문서에서 지식을 흡수하는 LLM의 능력을 크게 향상시키며, 표준 명령어 튜닝보다 17.8% 더 우수한 성능을 보임을 입증했습니다.

English

In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that PIT significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.

지시 튜닝된 언어 모델은 더 나은 지식 학습자입니다.

Instruction-tuned Language Models are Better Knowledge Learners

초록

Support