Compreendendo o Impacto da Temporalidade dos Dados no Pré-treinamento de Grandes Modelos de Linguagem

Resumo

Modelos de linguagem de grande escala (LLMs) são geralmente treinados em corpora embaralhados, resultando em modelos cujo conhecimento é congelado no momento do treinamento e cuja ancoragem temporal permanece pouco compreendida. Neste trabalho, estudamos o impacto da dinâmica de pré-treinamento na aquisição de conhecimento factual sensível ao tempo, com foco específico na ordenação dos dados. Nossas principais contribuições são duas. Primeiro, introduzimos um benchmark abrangente de mais de 7.000 perguntas ancoradas temporalmente e um protocolo de avaliação que permite analisar se os modelos associam corretamente os fatos aos seus períodos de tempo correspondentes. Segundo, pré-treinamos modelos de 6 bilhões de parâmetros em instantâneos temporalmente ordenados do Common Crawl e os comparamos com o pré-treinamento embaralhado padrão. Nossos resultados mostram que modelos treinados sequencialmente equivalem às baselines embaralhadas em compreensão geral da linguagem e conhecimento comum, ao mesmo tempo que exibem consistentemente um conhecimento mais atualizado e temporalmente preciso. O pré-treinamento temporalmente ordenado resulta em frescor factual aprimorado, enquanto o pré-treinamento embaralhado atinge pico em dados mais antigos, possivelmente devido ao aumento da repetição factual. Essas descobertas, juntamente com a disponibilização de nosso código em https://github.com/kyutai-labs/kairos , checkpoints e conjuntos de dados em https://huggingface.co/collections/kyutai/kairos , fornecem uma base para pesquisas futuras sobre aprendizado contínuo para LLMs.

English

Large language models (LLMs) are typically trained on shuffled corpora, yielding models whose knowledge is frozen at train time and whose temporal grounding remains poorly understood. In this work, we study the impact of pre-training dynamics on the acquisition of time-sensitive factual knowledge, focusing specifically on data ordering. Our main contributions are twofold. First, we introduce a comprehensive benchmark of over 7,000 temporally grounded questions and an evaluation protocol that enables analysis of whether models correctly associate facts with their corresponding time periods. Second, we pretrain 6B-parameter models on temporally ordered Common Crawl snapshots and compare them against standard shuffled pre-training. Our results show that sequentially trained models match shuffled baselines on general language understanding and common knowledge while consistently exhibiting more up-to-date and temporally precise knowledge. Temporally ordered pre-training yields improved factual freshness, while shuffled pre-training peaks on older data, possibly due to increased factual repetition. These findings, along with the release of our code at https://github.com/kyutai-labs/kairos , checkpoints, and datasets at https://huggingface.co/collections/kyutai/kairos provide a foundation for future research on continual learning for LLMs.