Verständnis des Einflusses der Datenzeitlichkeit auf das Vor-Training großer Sprachmodelle

Zusammenfassung

Große Sprachmodelle (LLMs) werden typischerweise auf gemischten Korpora trainiert, was zu Modellen führt, deren Wissen zum Zeitpunkt des Trainings eingefroren ist und deren zeitliche Verankerung nur unzureichend verstanden wird. In dieser Arbeit untersuchen wir die Auswirkungen der Vor-Trainingsdynamik auf den Erwerb zeitsensitiven Faktenwissens, wobei wir uns speziell auf die Datenreihenfolge konzentrieren. Unsere Hauptbeiträge sind zweifach. Erstens stellen wir einen umfassenden Benchmark mit über 7.000 zeitlich verankerten Fragen und ein Evaluationsprotokoll vor, das eine Analyse ermöglicht, ob Modelle Fakten korrekt mit ihren entsprechenden Zeitperioden assoziieren. Zweitens trainieren wir Modelle mit 6 Milliarden Parametern auf zeitlich geordneten Common-Crawl-Snapshots und vergleichen sie mit dem standardmäßigen gemischten Vor-Training. Unsere Ergebnisse zeigen, dass sequentiell trainierte Modelle mit gemischten Basislinien in allgemeinem Sprachverständnis und Allgemeinwissen übereinstimmen, dabei aber durchweg aktuelleres und zeitlich präziseres Wissen aufweisen. Zeitlich geordnetes Vor-Training führt zu einer verbesserten faktischen Aktualität, während gemischtes Vor-Training bei älteren Daten Spitzenwerte erreicht, möglicherweise aufgrund erhöhter Faktenwiederholung. Diese Erkenntnisse, zusammen mit der Veröffentlichung unseres Codes unter https://github.com/kyutai-labs/kairos , Checkpoints und Datensätzen unter https://huggingface.co/collections/kyutai/kairos , bieten eine Grundlage für zukünftige Forschung zum kontinuierlichen Lernen für LLMs.

English

Large language models (LLMs) are typically trained on shuffled corpora, yielding models whose knowledge is frozen at train time and whose temporal grounding remains poorly understood. In this work, we study the impact of pre-training dynamics on the acquisition of time-sensitive factual knowledge, focusing specifically on data ordering. Our main contributions are twofold. First, we introduce a comprehensive benchmark of over 7,000 temporally grounded questions and an evaluation protocol that enables analysis of whether models correctly associate facts with their corresponding time periods. Second, we pretrain 6B-parameter models on temporally ordered Common Crawl snapshots and compare them against standard shuffled pre-training. Our results show that sequentially trained models match shuffled baselines on general language understanding and common knowledge while consistently exhibiting more up-to-date and temporally precise knowledge. Temporally ordered pre-training yields improved factual freshness, while shuffled pre-training peaks on older data, possibly due to increased factual repetition. These findings, along with the release of our code at https://github.com/kyutai-labs/kairos , checkpoints, and datasets at https://huggingface.co/collections/kyutai/kairos provide a foundation for future research on continual learning for LLMs.