Comment les grands modèles de langage acquièrent-ils des connaissances factuelles lors du prétraitement ?

How Do Large Language Models Acquire Factual Knowledge During Pretraining?

June 17, 2024

Auteurs: Hoyeon Chang, Jinho Park, Seonghyeon Ye, Sohee Yang, Youngkyung Seo, Du-Seong Chang, Minjoon Seo

cs.AI

Résumé

Malgré la récente observation que les grands modèles de langage (LLMs) peuvent stocker des connaissances factuelles substantielles, il existe une compréhension limitée des mécanismes par lesquels ils acquièrent ces connaissances factuelles lors du pré-entraînement. Ce travail comble cette lacune en étudiant comment les LLMs acquièrent des connaissances factuelles pendant le pré-entraînement. Les résultats révèlent plusieurs insights importants sur la dynamique d'acquisition des connaissances factuelles lors du pré-entraînement. Premièrement, de manière contre-intuitive, nous observons que le pré-entraînement sur davantage de données ne montre aucune amélioration significative dans la capacité du modèle à acquérir et à maintenir des connaissances factuelles. Ensuite, il existe une relation de loi de puissance entre les étapes d'entraînement et l'oubli de la mémorisation et de la généralisation des connaissances factuelles, et les LLMs entraînés avec des données d'entraînement dupliquées présentent un oubli plus rapide. Troisièmement, l'entraînement des LLMs avec des tailles de lot plus importantes peut renforcer la robustesse des modèles face à l'oubli. Globalement, nos observations suggèrent que l'acquisition de connaissances factuelles dans le pré-entraînement des LLMs se produit en augmentant progressivement la probabilité des connaissances factuelles présentes dans les données de pré-entraînement à chaque étape. Cependant, cette augmentation est diluée par un oubli ultérieur. Sur la base de cette interprétation, nous démontrons que nous pouvons fournir des explications plausibles pour les comportements récemment observés des LLMs, tels que la faible performance des LLMs sur les connaissances de longue traîne et les avantages de la déduplication du corpus de pré-entraînement.

English

Despite the recent observation that large language models (LLMs) can store substantial factual knowledge, there is a limited understanding of the mechanisms of how they acquire factual knowledge through pretraining. This work addresses this gap by studying how LLMs acquire factual knowledge during pretraining. The findings reveal several important insights into the dynamics of factual knowledge acquisition during pretraining. First, counterintuitively, we observe that pretraining on more data shows no significant improvement in the model's capability to acquire and maintain factual knowledge. Next, there is a power-law relationship between training steps and forgetting of memorization and generalization of factual knowledge, and LLMs trained with duplicated training data exhibit faster forgetting. Third, training LLMs with larger batch sizes can enhance the models' robustness to forgetting. Overall, our observations suggest that factual knowledge acquisition in LLM pretraining occurs by progressively increasing the probability of factual knowledge presented in the pretraining data at each step. However, this increase is diluted by subsequent forgetting. Based on this interpretation, we demonstrate that we can provide plausible explanations for recently observed behaviors of LLMs, such as the poor performance of LLMs on long-tail knowledge and the benefits of deduplicating the pretraining corpus.