Как крупные языковые модели приобретают фактические знания во время предварительного обучения?

How Do Large Language Models Acquire Factual Knowledge During Pretraining?

June 17, 2024

Авторы: Hoyeon Chang, Jinho Park, Seonghyeon Ye, Sohee Yang, Youngkyung Seo, Du-Seong Chang, Minjoon Seo

cs.AI

Аннотация

Несмотря на недавнее наблюдение, что большие языковые модели (LLM) могут содержать значительные фактические знания, понимание механизмов их приобретения в процессе предварительного обучения остается ограниченным. Настоящая работа направлена на заполнение этой пробела путем изучения процесса приобретения фактических знаний LLM во время предварительного обучения. Полученные результаты раскрывают несколько важных идей о динамике приобретения фактических знаний во время предварительного обучения. Во-первых, противореча ожиданиям, мы наблюдаем, что предварительное обучение на большем объеме данных не приводит к значительному улучшению способности модели приобретать и сохранять фактические знания. Далее, существует степенная зависимость между шагами обучения и забыванием запоминания и обобщения фактических знаний, причем LLM, обученные на дублированных данных, проявляют более быстрое забывание. В-третьих, обучение LLM с более крупными размерами пакетов может улучшить устойчивость моделей к забыванию. В целом, наши наблюдения указывают на то, что приобретение фактических знаний в предварительном обучении LLM происходит путем постепенного увеличения вероятности фактических знаний, представленных в данных предварительного обучения на каждом шаге. Однако это увеличение ослабляется последующим забыванием. Исходя из этой интерпретации, мы демонстрируем, что можем предложить правдоподобные объяснения недавно наблюдаемым поведенческим особенностям LLM, таким как низкая производительность LLM на знаниях длинного хвоста и преимущества удаления дубликатов из корпуса предварительного обучения.

English

Despite the recent observation that large language models (LLMs) can store substantial factual knowledge, there is a limited understanding of the mechanisms of how they acquire factual knowledge through pretraining. This work addresses this gap by studying how LLMs acquire factual knowledge during pretraining. The findings reveal several important insights into the dynamics of factual knowledge acquisition during pretraining. First, counterintuitively, we observe that pretraining on more data shows no significant improvement in the model's capability to acquire and maintain factual knowledge. Next, there is a power-law relationship between training steps and forgetting of memorization and generalization of factual knowledge, and LLMs trained with duplicated training data exhibit faster forgetting. Third, training LLMs with larger batch sizes can enhance the models' robustness to forgetting. Overall, our observations suggest that factual knowledge acquisition in LLM pretraining occurs by progressively increasing the probability of factual knowledge presented in the pretraining data at each step. However, this increase is diluted by subsequent forgetting. Based on this interpretation, we demonstrate that we can provide plausible explanations for recently observed behaviors of LLMs, such as the poor performance of LLMs on long-tail knowledge and the benefits of deduplicating the pretraining corpus.