Benchmarking van Temporeel Redeneren en Afstemming over Chinese Dynastieën

Benchmarking Temporal Reasoning and Alignment Across Chinese Dynasties

February 24, 2025

Auteurs: Zhenglin Wang, Jialong Wu, Pengfei LI, Yong Jiang, Deyu Zhou

cs.AI

Samenvatting

Temporeel redeneren is fundamenteel voor de menselijke cognitie en is cruciaal voor diverse real-world toepassingen. Hoewel recente vooruitgang in Grote Taalmodellen veelbelovende capaciteiten in temporeel redeneren heeft aangetoond, zijn bestaande benchmarks voornamelijk gebaseerd op regelgebaseerde constructies, missen ze contextuele diepte en omvatten ze een beperkt scala aan temporele entiteiten. Om deze beperkingen aan te pakken, introduceren we Chinese Time Reasoning (CTM), een benchmark ontworpen om Grote Taalmodellen te evalueren op temporeel redeneren binnen de uitgebreide reikwijdte van de Chinese dynastieke chronologie. CTM benadrukt cross-entiteit relaties, paarsgewijze temporele afstemming, en gecontextualiseerd en cultureel verankerd redeneren, wat een uitgebreide evaluatie mogelijk maakt. Uitgebreide experimentele resultaten onthullen de uitdagingen die CTM met zich meebrengt en belichten potentiële verbeteringsmogelijkheden.

English

Temporal reasoning is fundamental to human cognition and is crucial for various real-world applications. While recent advances in Large Language Models have demonstrated promising capabilities in temporal reasoning, existing benchmarks primarily rely on rule-based construction, lack contextual depth, and involve a limited range of temporal entities. To address these limitations, we introduce Chinese Time Reasoning (CTM), a benchmark designed to evaluate LLMs on temporal reasoning within the extensive scope of Chinese dynastic chronology. CTM emphasizes cross-entity relationships, pairwise temporal alignment, and contextualized and culturally-grounded reasoning, providing a comprehensive evaluation. Extensive experimental results reveal the challenges posed by CTM and highlight potential avenues for improvement.