Los modelos de lenguaje ajustados por instrucciones son mejores aprendices de conocimiento.

Instruction-tuned Language Models are Better Knowledge Learners

February 20, 2024

Autores: Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srinivasan Iyer

cs.AI

Resumen

Para que los asistentes basados en modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) puedan adaptarse eficazmente a las necesidades de información en constante evolución, es necesario que sea posible actualizar su conocimiento factual mediante un entrenamiento continuo con nuevos datos. El enfoque estándar para lograrlo implica un pre-entrenamiento continuo con nuevos documentos, seguido de un ajuste por instrucción (instruction-tuning) utilizando pares de preguntas y respuestas (QA). Sin embargo, hemos observado que los LLM entrenados con este enfoque tienen dificultades para responder preguntas, a pesar de que la perplejidad de los documentos se minimiza. Descubrimos que los pares QA suelen ser directos, mientras que los documentos son más complejos, entrelazando múltiples afirmaciones factuales de manera intrincada. Por lo tanto, planteamos la hipótesis de que es beneficioso exponer a los LLM a pares QA antes del pre-entrenamiento continuo con documentos, de modo que el proceso de codificación del conocimiento a partir de documentos complejos tenga en cuenta cómo se accede a este conocimiento a través de preguntas. Basándonos en esto, proponemos el pre-ajuste por instrucción (PIT, por sus siglas en inglés), un método que realiza el ajuste por instrucción con preguntas antes del entrenamiento con documentos. Esto contrasta con el ajuste por instrucción estándar, que aprende a extraer conocimiento después del entrenamiento con documentos. Experimentos exhaustivos y estudios de ablación demuestran que PIT mejora significativamente la capacidad de los LLM para absorber conocimiento de nuevos documentos, superando al ajuste por instrucción estándar en un 17.8%.

English

In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that PIT significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.