Cosa Controlla Veramente il Ragionamento Temporale nei Grandi Modelli Linguistici: Tokenizzazione o Rappresentazione del Tempo?
What Really Controls Temporal Reasoning in Large Language Models: Tokenisation or Representation of Time?
March 19, 2026
Autori: Gagan Bhatia, Ahmad Muhammad Isa, Maxime Peyrard, Wei Zhao
cs.AI
Abstract
Presentiamo MultiTempBench, un benchmark multilingue per il ragionamento temporale che comprende tre attività: calcoli con date, conversione di fusi orari ed estrazione di relazioni temporali in cinque lingue (inglese, tedesco, cinese, arabo e hausa) e secondo diverse convenzioni calendariali (gregoriano, hijri e lunare cinese). MultiTempBench contiene 15.000 esempi costruiti traducendo 750 domande in inglese accuratamente selezionate ed espandendo ciascuna in varianti controllate per il formato della data. Valutiamo 20 LLM e introduciamo il Rapporto di Frammentazione delle Date multilingue (mDFR), calibrato con valutazioni umane di gravità, insieme ad analisi di probing geometrico delle rappresentazioni temporali interne. Scopriamo che la qualità della tokenizzazione degli artefatti temporali è un collo di bottiglia dipendente dalle risorse: nelle lingue a bassa risorsa e nei formati calendariali più rari, la frammentazione compromette la separazione Anno/Mese/Giorno e l'accuratezza crolla, mentre gli ambienti ad alta risorsa sono spesso robusti alla suddivisione a livello di cifra. Oltre alla tokenizzazione, una regressione ad effetti misti incrociati mostra che la linearità temporale è il predittore più forte del ragionamento temporale nelle lingue ad alta risorsa, mentre la frammentazione è il predittore più forte nelle lingue a bassa risorsa. Il codice è disponibile all'indirizzo: https://github.com/gagan3012/mtb
English
We present MultiTempBench, a multilingual temporal reasoning benchmark spanning three tasks, date arithmetic, time zone conversion, and temporal relation extraction across five languages (English, German, Chinese, Arabic, and Hausa) and multiple calendar conventions (Gregorian, Hijri, and Chinese Lunar). MultiTempBench contains 15,000 examples built by translating 750 curated English questions and expanding each into controlled date-format variants. We evaluate 20 LLMs and introduce the multilingual Date Fragmentation Ratio (mDFR), calibrated with human severity ratings, together with geometric-probing analyses of internal temporal representations. We find tokenisation quality of temporal artefacts is a resource-dependent bottleneck: in low-resource languages and rarer calendar formats, fragmentation disrupts Year/Month/Day separation and accuracy collapses, while high-resource settings are often robust to digit-level splitting. Beyond tokenisation, crossed mixed-effects regression shows that temporal linearity is the strongest predictor of temporal reasoning in high-resource languages, whereas fragmentation is the stronger predictor in low-resource languages. Code is available at: https://github.com/gagan3012/mtb