Inzicht in de impact van datatemporaliteit op de pre-training van grote taalmodellen

Samenvatting

Grote taalmodellen (LLM's) worden doorgaans getraind op geschudde corpora, wat modellen oplevert waarvan de kennis is bevroren op het moment van training en waarvan de temporele verankering slecht begrepen blijft. In dit werk bestuderen we de impact van pre-trainingdynamiek op het verwerven van tijdsgevoelige feitenkennis, met specifieke focus op de volgorde van data. Onze belangrijkste bijdragen zijn tweeledig. Ten eerste introduceren we een uitgebreide benchmark van meer dan 7.000 temporeel verankerde vragen en een evaluatieprotocol dat analyse mogelijk maakt of modellen feiten correct associëren met hun corresponderende tijdsperioden. Ten tweede trainen we 6B-parametermodellen vooraf op temporeel geordende Common Crawl-momentopnamen en vergelijken we ze met standaard geschudde pre-training. Onze resultaten tonen aan dat sequentieel getrainde modellen overeenkomen met geschudde baselines op algemeen taalbegrip en algemene kennis, terwijl ze consistent meer actuele en temporeel precieze kennis vertonen. Temporeel geordende pre-training leidt tot verbeterde feitelijke versheid, terwijl geschudde pre-training piekt op oudere data, mogelijk door toegenomen feitelijke herhaling. Deze bevindingen, samen met de publicatie van onze code op https://github.com/kyutai-labs/kairos , checkpoints en datasets op https://huggingface.co/collections/kyutai/kairos , vormen een basis voor toekomstig onderzoek naar continu leren voor LLM's.

English

Large language models (LLMs) are typically trained on shuffled corpora, yielding models whose knowledge is frozen at train time and whose temporal grounding remains poorly understood. In this work, we study the impact of pre-training dynamics on the acquisition of time-sensitive factual knowledge, focusing specifically on data ordering. Our main contributions are twofold. First, we introduce a comprehensive benchmark of over 7,000 temporally grounded questions and an evaluation protocol that enables analysis of whether models correctly associate facts with their corresponding time periods. Second, we pretrain 6B-parameter models on temporally ordered Common Crawl snapshots and compare them against standard shuffled pre-training. Our results show that sequentially trained models match shuffled baselines on general language understanding and common knowledge while consistently exhibiting more up-to-date and temporally precise knowledge. Temporally ordered pre-training yields improved factual freshness, while shuffled pre-training peaks on older data, possibly due to increased factual repetition. These findings, along with the release of our code at https://github.com/kyutai-labs/kairos , checkpoints, and datasets at https://huggingface.co/collections/kyutai/kairos provide a foundation for future research on continual learning for LLMs.