Vergleich von zeitlichem Denken und Abstimmung über chinesische Dynastien

Benchmarking Temporal Reasoning and Alignment Across Chinese Dynasties

February 24, 2025

Autoren: Zhenglin Wang, Jialong Wu, Pengfei LI, Yong Jiang, Deyu Zhou

cs.AI

Zusammenfassung

Die zeitliche Argumentation ist fundamental für die menschliche Kognition und ist entscheidend für verschiedene Anwendungen im wirklichen Leben. Während jüngste Fortschritte in großen Sprachmodellen vielversprechende Fähigkeiten in der zeitlichen Argumentation gezeigt haben, basieren bestehende Benchmarks hauptsächlich auf regelbasierten Konstruktionen, fehlen an kontextueller Tiefe und beinhalten nur eine begrenzte Auswahl an zeitlichen Entitäten. Um diese Einschränkungen zu überwinden, führen wir Chinese Time Reasoning (CTM) ein, einen Benchmark, der darauf abzielt, große Sprachmodelle in der zeitlichen Argumentation im umfangreichen Bereich der chinesischen dynastischen Chronologie zu bewerten. CTM legt den Schwerpunkt auf Beziehungen zwischen Entitäten, paarweises zeitliches Alignment sowie kontextualisierte und kulturell verankerte Argumentation und bietet so eine umfassende Bewertung. Umfangreiche experimentelle Ergebnisse zeigen die Herausforderungen, die CTM darstellt, und heben potenzielle Verbesserungsmöglichkeiten hervor.

English

Temporal reasoning is fundamental to human cognition and is crucial for various real-world applications. While recent advances in Large Language Models have demonstrated promising capabilities in temporal reasoning, existing benchmarks primarily rely on rule-based construction, lack contextual depth, and involve a limited range of temporal entities. To address these limitations, we introduce Chinese Time Reasoning (CTM), a benchmark designed to evaluate LLMs on temporal reasoning within the extensive scope of Chinese dynastic chronology. CTM emphasizes cross-entity relationships, pairwise temporal alignment, and contextualized and culturally-grounded reasoning, providing a comprehensive evaluation. Extensive experimental results reveal the challenges posed by CTM and highlight potential avenues for improvement.