Évaluation comparative du raisonnement temporel et de l'alignement à travers les dynasties chinoises

Benchmarking Temporal Reasoning and Alignment Across Chinese Dynasties

February 24, 2025

Auteurs: Zhenglin Wang, Jialong Wu, Pengfei LI, Yong Jiang, Deyu Zhou

cs.AI

Résumé

Le raisonnement temporel est fondamental pour la cognition humaine et est crucial pour diverses applications dans le monde réel. Bien que les progrès récents des modèles de langage de grande envergure aient démontré des capacités prometteuses en matière de raisonnement temporel, les benchmarks existants reposent principalement sur une construction basée sur des règles, manquent de profondeur contextuelle et impliquent un éventail limité d'entités temporelles. Pour remédier à ces limitations, nous introduisons Chinese Time Reasoning (CTM), un benchmark conçu pour évaluer les modèles de langage de grande envergure sur le raisonnement temporel dans le cadre étendu de la chronologie dynastique chinoise. CTM met l'accent sur les relations inter-entités, l'alignement temporel par paires, ainsi que le raisonnement contextualisé et ancré culturellement, offrant ainsi une évaluation complète. Les résultats expérimentaux approfondis révèlent les défis posés par CTM et mettent en lumière des pistes potentielles d'amélioration.

English

Temporal reasoning is fundamental to human cognition and is crucial for various real-world applications. While recent advances in Large Language Models have demonstrated promising capabilities in temporal reasoning, existing benchmarks primarily rely on rule-based construction, lack contextual depth, and involve a limited range of temporal entities. To address these limitations, we introduce Chinese Time Reasoning (CTM), a benchmark designed to evaluate LLMs on temporal reasoning within the extensive scope of Chinese dynastic chronology. CTM emphasizes cross-entity relationships, pairwise temporal alignment, and contextualized and culturally-grounded reasoning, providing a comprehensive evaluation. Extensive experimental results reveal the challenges posed by CTM and highlight potential avenues for improvement.