Evaluación Comparativa del Razonamiento Temporal y Alineación a través de las Dinastías Chinas

Benchmarking Temporal Reasoning and Alignment Across Chinese Dynasties

February 24, 2025

Autores: Zhenglin Wang, Jialong Wu, Pengfei LI, Yong Jiang, Deyu Zhou

cs.AI

Resumen

El razonamiento temporal es fundamental para la cognición humana y es crucial para diversas aplicaciones del mundo real. Si bien los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado capacidades prometedoras en el razonamiento temporal, los puntos de referencia existentes se basan principalmente en construcciones basadas en reglas, carecen de profundidad contextual y abarcan un rango limitado de entidades temporales. Para abordar estas limitaciones, presentamos Chinese Time Reasoning (CTM), un punto de referencia diseñado para evaluar los LLMs en el razonamiento temporal dentro del amplio alcance de la cronología dinástica china. CTM enfatiza las relaciones entre entidades, la alineación temporal por pares y el razonamiento contextualizado y culturalmente fundamentado, proporcionando una evaluación integral. Los resultados experimentales extensivos revelan los desafíos planteados por CTM y destacan posibles vías de mejora.

English

Temporal reasoning is fundamental to human cognition and is crucial for various real-world applications. While recent advances in Large Language Models have demonstrated promising capabilities in temporal reasoning, existing benchmarks primarily rely on rule-based construction, lack contextual depth, and involve a limited range of temporal entities. To address these limitations, we introduce Chinese Time Reasoning (CTM), a benchmark designed to evaluate LLMs on temporal reasoning within the extensive scope of Chinese dynastic chronology. CTM emphasizes cross-entity relationships, pairwise temporal alignment, and contextualized and culturally-grounded reasoning, providing a comprehensive evaluation. Extensive experimental results reveal the challenges posed by CTM and highlight potential avenues for improvement.