Wie erwerben große Sprachmodelle während des Vortrainings faktuelles Wissen?

How Do Large Language Models Acquire Factual Knowledge During Pretraining?

June 17, 2024

Autoren: Hoyeon Chang, Jinho Park, Seonghyeon Ye, Sohee Yang, Youngkyung Seo, Du-Seong Chang, Minjoon Seo

cs.AI

Zusammenfassung

Trotz der jüngsten Beobachtung, dass große Sprachmodelle (LLMs) erhebliches faktisches Wissen speichern können, besteht ein begrenztes Verständnis der Mechanismen, wie sie faktisches Wissen durch Vortraining erwerben. Diese Arbeit befasst sich mit dieser Lücke, indem sie untersucht, wie LLMs während des Vortrainings faktisches Wissen erwerben. Die Ergebnisse liefern mehrere wichtige Erkenntnisse über die Dynamik des Erwerbs von faktischem Wissen während des Vortrainings. Zunächst beobachten wir gegenintuitiv, dass ein Vortraining auf mehr Daten keine signifikante Verbesserung der Fähigkeit des Modells zeigt, faktisches Wissen zu erwerben und zu bewahren. Weiterhin besteht eine Potenzgesetzbeziehung zwischen Trainingschritten und dem Vergessen von Memorierung und Verallgemeinerung von faktischem Wissen, und LLMs, die mit duplizierten Trainingsdaten trainiert werden, zeigen ein schnelleres Vergessen. Drittens kann das Training von LLMs mit größeren Batch-Größen die Robustheit der Modelle gegen Vergessen erhöhen. Insgesamt legen unsere Beobachtungen nahe, dass der Erwerb von faktischem Wissen beim LLM-Vortraining durch eine allmähliche Erhöhung der Wahrscheinlichkeit des im Vortrainingsdatensatz präsentierten faktischen Wissens bei jedem Schritt erfolgt. Diese Erhöhung wird jedoch durch nachfolgendes Vergessen verdünnt. Basierend auf dieser Interpretation zeigen wir, dass wir plausible Erklärungen für kürzlich beobachtete Verhaltensweisen von LLMs liefern können, wie die schlechte Leistung von LLMs bei speziellem Wissen und die Vorteile der Entdopplung des Vortrainingskorpus.

English

Despite the recent observation that large language models (LLMs) can store substantial factual knowledge, there is a limited understanding of the mechanisms of how they acquire factual knowledge through pretraining. This work addresses this gap by studying how LLMs acquire factual knowledge during pretraining. The findings reveal several important insights into the dynamics of factual knowledge acquisition during pretraining. First, counterintuitively, we observe that pretraining on more data shows no significant improvement in the model's capability to acquire and maintain factual knowledge. Next, there is a power-law relationship between training steps and forgetting of memorization and generalization of factual knowledge, and LLMs trained with duplicated training data exhibit faster forgetting. Third, training LLMs with larger batch sizes can enhance the models' robustness to forgetting. Overall, our observations suggest that factual knowledge acquisition in LLM pretraining occurs by progressively increasing the probability of factual knowledge presented in the pretraining data at each step. However, this increase is diluted by subsequent forgetting. Based on this interpretation, we demonstrate that we can provide plausible explanations for recently observed behaviors of LLMs, such as the poor performance of LLMs on long-tail knowledge and the benefits of deduplicating the pretraining corpus.