O Que Realmente Controla o Raciocínio Temporal em Modelos de Linguagem de Grande Porte: Tokenização ou Representação do Tempo?
What Really Controls Temporal Reasoning in Large Language Models: Tokenisation or Representation of Time?
March 19, 2026
Autores: Gagan Bhatia, Ahmad Muhammad Isa, Maxime Peyrard, Wei Zhao
cs.AI
Resumo
Apresentamos o MultiTempBench, um benchmark multilingue de raciocínio temporal que abrange três tarefas — aritmética de datas, conversão de fusos horários e extração de relações temporais — em cinco idiomas (Inglês, Alemão, Chinês, Árabe e Hausa) e múltiplas convenções de calendário (Gregoriano, Hijri e Lunar Chinês). O MultiTempBench contém 15.000 exemplos construídos através da tradução de 750 questões em Inglês criteriosamente selecionadas e da expansão de cada uma em variantes controladas de formato de data. Avaliamos 20 LLMs e introduzimos o Índice de Fragmentação de Datas Multilingue (mDFR), calibrado com classificações de severidade humana, juntamente com análises de *geometric probing* de representações temporais internas. Constatamos que a qualidade da tokenização de artefactos temporais é um estrangulamento dependente de recursos: em idiomas de baixos recursos e formatos de calendário mais raros, a fragmentação perturba a separação Ano/Mês/Dia e a precisão colapsa, enquanto contextos de altos recursos são frequentemente robustos face à divisão ao nível dos dígitos. Para além da tokenização, uma regressão de efeitos mistos cruzados mostra que a linearidade temporal é o preditor mais forte do raciocínio temporal em idiomas de altos recursos, enquanto a fragmentação é o preditor mais forte em idiomas de baixos recursos. O código está disponível em: https://github.com/gagan3012/mtb
English
We present MultiTempBench, a multilingual temporal reasoning benchmark spanning three tasks, date arithmetic, time zone conversion, and temporal relation extraction across five languages (English, German, Chinese, Arabic, and Hausa) and multiple calendar conventions (Gregorian, Hijri, and Chinese Lunar). MultiTempBench contains 15,000 examples built by translating 750 curated English questions and expanding each into controlled date-format variants. We evaluate 20 LLMs and introduce the multilingual Date Fragmentation Ratio (mDFR), calibrated with human severity ratings, together with geometric-probing analyses of internal temporal representations. We find tokenisation quality of temporal artefacts is a resource-dependent bottleneck: in low-resource languages and rarer calendar formats, fragmentation disrupts Year/Month/Day separation and accuracy collapses, while high-resource settings are often robust to digit-level splitting. Beyond tokenisation, crossed mixed-effects regression shows that temporal linearity is the strongest predictor of temporal reasoning in high-resource languages, whereas fragmentation is the stronger predictor in low-resource languages. Code is available at: https://github.com/gagan3012/mtb