Compréhension de l'impact de la temporalité des données sur le pré-entraînement des grands modèles de langage

Résumé

Les grands modèles de langage (LLMs) sont généralement entraînés sur des corpus mélangés aléatoirement, produisant des modèles dont les connaissances sont figées au moment de l’entraînement et dont l’ancrage temporel reste mal compris. Dans ce travail, nous étudions l’impact de la dynamique de pré-entraînement sur l’acquisition de connaissances factuelles sensibles au temps, en nous concentrant spécifiquement sur l’ordre des données. Nos contributions principales sont doubles. Premièrement, nous introduisons un benchmark complet de plus de 7 000 questions ancrées temporellement et un protocole d’évaluation permettant d’analyser si les modèles associent correctement les faits à leurs périodes temporelles correspondantes. Deuxièmement, nous pré-entraînons des modèles de 6 milliards de paramètres sur des instantanés Common Crawl ordonnés temporellement et les comparons à un pré-entraînement standard avec mélange aléatoire. Nos résultats montrent que les modèles entraînés séquentiellement égalent les références aléatoires en compréhension générale du langage et en connaissances communes, tout en présentant systématiquement des connaissances plus récentes et temporellement plus précises. Le pré-entraînement ordonné temporellement améliore l’actualité des faits, tandis que le pré-entraînement aléatoire culmine sur les données plus anciennes, possiblement en raison d’une répétition factuelle accrue. Ces résultats, ainsi que la publication de notre code à l’adresse https://github.com/kyutai-labs/kairos , des points de contrôle et des ensembles de données à https://huggingface.co/collections/kyutai/kairos , fournissent une base pour les futures recherches sur l’apprentissage continu pour les LLMs.

English

Large language models (LLMs) are typically trained on shuffled corpora, yielding models whose knowledge is frozen at train time and whose temporal grounding remains poorly understood. In this work, we study the impact of pre-training dynamics on the acquisition of time-sensitive factual knowledge, focusing specifically on data ordering. Our main contributions are twofold. First, we introduce a comprehensive benchmark of over 7,000 temporally grounded questions and an evaluation protocol that enables analysis of whether models correctly associate facts with their corresponding time periods. Second, we pretrain 6B-parameter models on temporally ordered Common Crawl snapshots and compare them against standard shuffled pre-training. Our results show that sequentially trained models match shuffled baselines on general language understanding and common knowledge while consistently exhibiting more up-to-date and temporally precise knowledge. Temporally ordered pre-training yields improved factual freshness, while shuffled pre-training peaks on older data, possibly due to increased factual repetition. These findings, along with the release of our code at https://github.com/kyutai-labs/kairos , checkpoints, and datasets at https://huggingface.co/collections/kyutai/kairos provide a foundation for future research on continual learning for LLMs.