Valutazione del Ragionamento Temporale e dell'Allineamento Attraverso le Dinastie Cinesi
Benchmarking Temporal Reasoning and Alignment Across Chinese Dynasties
February 24, 2025
Autori: Zhenglin Wang, Jialong Wu, Pengfei LI, Yong Jiang, Deyu Zhou
cs.AI
Abstract
Il ragionamento temporale è fondamentale per la cognizione umana ed è cruciale per varie applicazioni nel mondo reale. Sebbene i recenti progressi nei Modelli Linguistici di Grandi Dimensioni (LLM) abbiano dimostrato capacità promettenti nel ragionamento temporale, i benchmark esistenti si basano principalmente su una costruzione basata su regole, mancano di profondità contestuale e coinvolgono una gamma limitata di entità temporali. Per affrontare queste limitazioni, introduciamo Chinese Time Reasoning (CTM), un benchmark progettato per valutare gli LLM sul ragionamento temporale nell'ambito esteso della cronologia dinastica cinese. CTM enfatizza le relazioni tra entità, l'allineamento temporale a coppie e un ragionamento contestualizzato e radicato culturalmente, fornendo una valutazione completa. I risultati sperimentali estesi rivelano le sfide poste da CTM e evidenziano potenziali vie di miglioramento.
English
Temporal reasoning is fundamental to human cognition and is crucial for
various real-world applications. While recent advances in Large Language Models
have demonstrated promising capabilities in temporal reasoning, existing
benchmarks primarily rely on rule-based construction, lack contextual depth,
and involve a limited range of temporal entities. To address these limitations,
we introduce Chinese Time Reasoning (CTM), a benchmark designed to evaluate
LLMs on temporal reasoning within the extensive scope of Chinese dynastic
chronology. CTM emphasizes cross-entity relationships, pairwise temporal
alignment, and contextualized and culturally-grounded reasoning, providing a
comprehensive evaluation. Extensive experimental results reveal the challenges
posed by CTM and highlight potential avenues for improvement.