Come i Modelli Linguistici di Grandi Dimensioni Acquisiscono Conoscenze Fattuali Durante il Pretraining?

How Do Large Language Models Acquire Factual Knowledge During Pretraining?

June 17, 2024

Autori: Hoyeon Chang, Jinho Park, Seonghyeon Ye, Sohee Yang, Youngkyung Seo, Du-Seong Chang, Minjoon Seo

cs.AI

Abstract

Nonostante la recente osservazione che i grandi modelli linguistici (LLM) possano memorizzare una quantità sostanziale di conoscenze fattuali, c'è una comprensione limitata dei meccanismi attraverso i quali acquisiscono tali conoscenze durante il pretraining. Questo lavoro colma questa lacuna studiando come gli LLM acquisiscono conoscenze fattuali durante il pretraining. I risultati rivelano diverse importanti intuizioni sulla dinamica di acquisizione delle conoscenze fattuali durante il pretraining. In primo luogo, contrariamente a quanto ci si potrebbe aspettare, osserviamo che il pretraining su una maggiore quantità di dati non mostra un miglioramento significativo nella capacità del modello di acquisire e mantenere conoscenze fattuali. In secondo luogo, esiste una relazione di legge di potenza tra i passi di addestramento e la dimenticanza della memorizzazione e della generalizzazione delle conoscenze fattuali, e gli LLM addestrati con dati duplicati mostrano una dimenticanza più rapida. In terzo luogo, l'addestramento di LLM con dimensioni di batch più grandi può migliorare la robustezza dei modelli alla dimenticanza. Nel complesso, le nostre osservazioni suggeriscono che l'acquisizione di conoscenze fattuali nel pretraining degli LLM avviene aumentando progressivamente la probabilità delle conoscenze fattuali presenti nei dati di pretraining a ogni passo. Tuttavia, questo aumento viene diluito dalla successiva dimenticanza. Sulla base di questa interpretazione, dimostriamo che possiamo fornire spiegazioni plausibili per comportamenti recentemente osservati negli LLM, come le scarse prestazioni degli LLM sulle conoscenze a coda lunga e i benefici della deduplicazione del corpus di pretraining.

English

Despite the recent observation that large language models (LLMs) can store substantial factual knowledge, there is a limited understanding of the mechanisms of how they acquire factual knowledge through pretraining. This work addresses this gap by studying how LLMs acquire factual knowledge during pretraining. The findings reveal several important insights into the dynamics of factual knowledge acquisition during pretraining. First, counterintuitively, we observe that pretraining on more data shows no significant improvement in the model's capability to acquire and maintain factual knowledge. Next, there is a power-law relationship between training steps and forgetting of memorization and generalization of factual knowledge, and LLMs trained with duplicated training data exhibit faster forgetting. Third, training LLMs with larger batch sizes can enhance the models' robustness to forgetting. Overall, our observations suggest that factual knowledge acquisition in LLM pretraining occurs by progressively increasing the probability of factual knowledge presented in the pretraining data at each step. However, this increase is diluted by subsequent forgetting. Based on this interpretation, we demonstrate that we can provide plausible explanations for recently observed behaviors of LLMs, such as the poor performance of LLMs on long-tail knowledge and the benefits of deduplicating the pretraining corpus.