Entendiendo el impacto de la temporalidad de los datos en el preentrenamiento de modelos de lenguaje de gran escala

Resumen

Los modelos de lenguaje de gran escala (LLMs) suelen entrenarse con corpus mezclados, lo que produce modelos cuyo conocimiento queda congelado en el momento del entrenamiento y cuyo anclaje temporal es poco comprendido. En este trabajo, estudiamos el impacto de la dinámica del preentrenamiento en la adquisición de conocimiento factual sensible al tiempo, centrándonos específicamente en el ordenamiento de los datos. Nuestras principales contribuciones son dos. Primero, presentamos un benchmark exhaustivo de más de 7,000 preguntas temporalmente contextualizadas y un protocolo de evaluación que permite analizar si los modelos asocian correctamente los hechos con sus períodos de tiempo correspondientes. Segundo, preentrenamos modelos de 6 mil millones de parámetros en instantáneas de Common Crawl ordenadas temporalmente y los comparamos con el preentrenamiento estándar con mezcla aleatoria. Nuestros resultados muestran que los modelos entrenados secuencialmente igualan a las líneas base con mezcla en comprensión general del lenguaje y conocimiento común, mientras que consistentemente presentan un conocimiento más actualizado y temporalmente preciso. El preentrenamiento con orden temporal mejora la frescura factual, mientras que el preentrenamiento con mezcla aleatoria alcanza su máximo rendimiento en datos más antiguos, posiblemente debido a una mayor repetición de hechos. Estos hallazgos, junto con la publicación de nuestro código en https://github.com/kyutai-labs/kairos , los puntos de control y los conjuntos de datos en https://huggingface.co/collections/kyutai/kairos , proporcionan una base para futuras investigaciones sobre aprendizaje continuo para LLMs.

English

Large language models (LLMs) are typically trained on shuffled corpora, yielding models whose knowledge is frozen at train time and whose temporal grounding remains poorly understood. In this work, we study the impact of pre-training dynamics on the acquisition of time-sensitive factual knowledge, focusing specifically on data ordering. Our main contributions are twofold. First, we introduce a comprehensive benchmark of over 7,000 temporally grounded questions and an evaluation protocol that enables analysis of whether models correctly associate facts with their corresponding time periods. Second, we pretrain 6B-parameter models on temporally ordered Common Crawl snapshots and compare them against standard shuffled pre-training. Our results show that sequentially trained models match shuffled baselines on general language understanding and common knowledge while consistently exhibiting more up-to-date and temporally precise knowledge. Temporally ordered pre-training yields improved factual freshness, while shuffled pre-training peaks on older data, possibly due to increased factual repetition. These findings, along with the release of our code at https://github.com/kyutai-labs/kairos , checkpoints, and datasets at https://huggingface.co/collections/kyutai/kairos provide a foundation for future research on continual learning for LLMs.