Was steuert wirklich das zeitliche Schlussfolgern in großen Sprachmodellen: Tokenisierung oder Repräsentation von Zeit?
What Really Controls Temporal Reasoning in Large Language Models: Tokenisation or Representation of Time?
March 19, 2026
Autoren: Gagan Bhatia, Ahmad Muhammad Isa, Maxime Peyrard, Wei Zhao
cs.AI
Zusammenfassung
Wir stellen MultiTempBench vor, einen mehrsprachigen Benchmark für zeitliches Schließen, der drei Aufgaben umfasst: Datumsarithmetik, Zeitzonenumrechnung und Extraktion zeitlicher Relationen in fünf Sprachen (Englisch, Deutsch, Chinesisch, Arabisch und Hausa) und über mehrere Kalenderkonventionen hinweg (gregorianisch, hijri und chinesisch-lunar). MultiTempBench enthält 15.000 Beispiele, die durch Übersetzung von 750 kuratierten englischen Fragen und deren Erweiterung um kontrollierte Datumsformat-Varianten erstellt wurden. Wir evaluieren 20 LLMs und führen das mehrsprachige Date Fragmentation Ratio (mDFR) ein, das mit menschlichen Schweregrad-Bewertungen kalibriert wurde, zusammen mit geometrischen Probing-Analysen interner temporaler Repräsentationen. Wir stellen fest, dass die Tokenisierungsqualität temporaler Artefakte ein ressourcenabhängiger Engpass ist: In ressourcenarmen Sprachen und selteneren Kalenderformaten stört Fragmentierung die Trennung von Jahr/Monat/Tag und die Genauigkeit bricht ein, während hochressourcierte Umgebungen oft robust gegenüber ziffernweiser Aufteilung sind. Jenseits der Tokenisierung zeigt eine gekreuzte gemischte Regressionsanalyse, dass temporale Linearität in ressourcenstarken Sprachen der stärkste Prädiktor für temporales Schließen ist, während Fragmentierung in ressourcenarmen Sprachen der stärkere Prädiktor ist. Code ist verfügbar unter: https://github.com/gagan3012/mtb
English
We present MultiTempBench, a multilingual temporal reasoning benchmark spanning three tasks, date arithmetic, time zone conversion, and temporal relation extraction across five languages (English, German, Chinese, Arabic, and Hausa) and multiple calendar conventions (Gregorian, Hijri, and Chinese Lunar). MultiTempBench contains 15,000 examples built by translating 750 curated English questions and expanding each into controlled date-format variants. We evaluate 20 LLMs and introduce the multilingual Date Fragmentation Ratio (mDFR), calibrated with human severity ratings, together with geometric-probing analyses of internal temporal representations. We find tokenisation quality of temporal artefacts is a resource-dependent bottleneck: in low-resource languages and rarer calendar formats, fragmentation disrupts Year/Month/Day separation and accuracy collapses, while high-resource settings are often robust to digit-level splitting. Beyond tokenisation, crossed mixed-effects regression shows that temporal linearity is the strongest predictor of temporal reasoning in high-resource languages, whereas fragmentation is the stronger predictor in low-resource languages. Code is available at: https://github.com/gagan3012/mtb