¿Cómo Adquieren Conocimiento Factual los Modelos de Lenguaje de Gran Escala Durante el Pretrenamiento?

How Do Large Language Models Acquire Factual Knowledge During Pretraining?

June 17, 2024

Autores: Hoyeon Chang, Jinho Park, Seonghyeon Ye, Sohee Yang, Youngkyung Seo, Du-Seong Chang, Minjoon Seo

cs.AI

Resumen

A pesar de la observación reciente de que los modelos de lenguaje de gran escala (LLMs) pueden almacenar un conocimiento factual sustancial, existe una comprensión limitada de los mecanismos mediante los cuales adquieren este conocimiento factual a través del preentrenamiento. Este trabajo aborda esta brecha al estudiar cómo los LLMs adquieren conocimiento factual durante el preentrenamiento. Los hallazgos revelan varias ideas importantes sobre la dinámica de la adquisición de conocimiento factual durante este proceso. En primer lugar, de manera contraintuitiva, observamos que el preentrenamiento con más datos no muestra una mejora significativa en la capacidad del modelo para adquirir y mantener conocimiento factual. En segundo lugar, existe una relación de ley de potencia entre los pasos de entrenamiento y el olvido de la memorización y generalización del conocimiento factual, y los LLMs entrenados con datos duplicados exhiben un olvido más rápido. En tercer lugar, entrenar LLMs con tamaños de lote más grandes puede mejorar la robustez de los modelos frente al olvido. En general, nuestras observaciones sugieren que la adquisición de conocimiento factual en el preentrenamiento de LLMs ocurre al aumentar progresivamente la probabilidad del conocimiento factual presentado en los datos de preentrenamiento en cada paso. Sin embargo, este aumento se diluye debido al olvido posterior. Basándonos en esta interpretación, demostramos que podemos proporcionar explicaciones plausibles para comportamientos recientemente observados en LLMs, como el bajo rendimiento de los LLMs en conocimiento de cola larga y los beneficios de deduplicar el corpus de preentrenamiento.

English

Despite the recent observation that large language models (LLMs) can store substantial factual knowledge, there is a limited understanding of the mechanisms of how they acquire factual knowledge through pretraining. This work addresses this gap by studying how LLMs acquire factual knowledge during pretraining. The findings reveal several important insights into the dynamics of factual knowledge acquisition during pretraining. First, counterintuitively, we observe that pretraining on more data shows no significant improvement in the model's capability to acquire and maintain factual knowledge. Next, there is a power-law relationship between training steps and forgetting of memorization and generalization of factual knowledge, and LLMs trained with duplicated training data exhibit faster forgetting. Third, training LLMs with larger batch sizes can enhance the models' robustness to forgetting. Overall, our observations suggest that factual knowledge acquisition in LLM pretraining occurs by progressively increasing the probability of factual knowledge presented in the pretraining data at each step. However, this increase is diluted by subsequent forgetting. Based on this interpretation, we demonstrate that we can provide plausible explanations for recently observed behaviors of LLMs, such as the poor performance of LLMs on long-tail knowledge and the benefits of deduplicating the pretraining corpus.