Понимание влияния темпоральности данных на предварительное обучение больших языковых моделей

Аннотация

Большие языковые модели (LLM) обычно обучаются на перемешанных корпусах, что приводит к фиксации знаний на момент обучения, а их временная привязка остаётся плохо изученной. В данной работе мы исследуем влияние динамики предобучения на приобретение чувствительных ко времени фактических знаний, уделяя особое внимание порядку данных. Наш вклад состоит из двух частей. Во-первых, мы представляем всесторонний бенчмарк, включающий более 7 000 вопросов с временной привязкой, и протокол оценки, позволяющий анализировать, правильно ли модели соотносят факты с соответствующими временными периодами. Во-вторых, мы проводим предобучение моделей с 6 миллиардами параметров на упорядоченных по времени срезах Common Crawl и сравниваем их со стандартным перемешанным предобучением. Наши результаты показывают, что последовательно обученные модели соответствуют перемешанным базовым моделям по общему пониманию языка и общим знаниям, при этом демонстрируя более актуальные и точные с точки зрения времени знания. Упорядоченное по времени предобучение обеспечивает улучшенную фактическую актуальность, в то время как перемешанное предобучение достигает пика на более старых данных, возможно, из-за повышенного повторения фактов. Эти результаты, а также публикация нашего кода по адресу https://github.com/kyutai-labs/kairos , контрольных точек и наборов данных по адресу https://huggingface.co/collections/kyutai/kairos , создают основу для будущих исследований в области непрерывного обучения для LLM.

English

Large language models (LLMs) are typically trained on shuffled corpora, yielding models whose knowledge is frozen at train time and whose temporal grounding remains poorly understood. In this work, we study the impact of pre-training dynamics on the acquisition of time-sensitive factual knowledge, focusing specifically on data ordering. Our main contributions are twofold. First, we introduce a comprehensive benchmark of over 7,000 temporally grounded questions and an evaluation protocol that enables analysis of whether models correctly associate facts with their corresponding time periods. Second, we pretrain 6B-parameter models on temporally ordered Common Crawl snapshots and compare them against standard shuffled pre-training. Our results show that sequentially trained models match shuffled baselines on general language understanding and common knowledge while consistently exhibiting more up-to-date and temporally precise knowledge. Temporally ordered pre-training yields improved factual freshness, while shuffled pre-training peaks on older data, possibly due to increased factual repetition. These findings, along with the release of our code at https://github.com/kyutai-labs/kairos , checkpoints, and datasets at https://huggingface.co/collections/kyutai/kairos provide a foundation for future research on continual learning for LLMs.