ChroKnowledge: 言語モデルの複数ドメインにおける時系列知識の解明

ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains

October 13, 2024

著者: Yein Park, Chanwoong Yoon, Jungwoo Park, Donghyeon Lee, Minbyul Jeong, Jaewoo Kang

cs.AI

要旨

大規模言語モデル（LLMs）は、私たちの生活の多くの側面に大きな影響を与えています。ただし、それらの時系列的な知識を評価し確保することは依然として困難です。既存の手法は、知識の累積性に対処する際にしばしば単一の時間スタンプに頼っており、不十分である。この課題を克服するために、私たちはChroKnowBenchを導入します。これは、複数のドメイン、時間依存性、時間的状態にわたる時系列的に蓄積された知識を評価するために設計されたベンチマークデータセットです。当該ベンチマークは、進化する知識（例：科学的発見、修正された法律）と一定の知識（例：数学的真理、常識的事実）の区別を行います。このベンチマークに基づいて、私たちはChroKnowledge（知識の時系列的分類）を提案します。これは、非パラメトリックな時系列的知識を評価および更新するための新しいサンプリングベースのフレームワークです。私たちの評価によると、（1）モデルのトレーニングに使用されたデータ形式によって時間的知識を引き出す能力は異なります。 （2）LLMsは、一部の知識を部分的に回想したり、時間的境界で切り捨てたりすることがあり、すべての知識の側面を正しく回想するわけではありません。そのため、私たちはChroKnowPromptを適用します。これは、周囲の時間範囲を段階的にたどることで時系列的知識を引き出すための詳細なプロンプトです。私たちは、このフレームワークがバイオメディカル領域（+11.9％）および一般領域（+2.8％）の両方で全体的な知識を更新するのに成功し、時間的知識を洗練する効果を示しています。この非パラメトリックなアプローチは、オープンソースモデルだけでなく、プロプライエタリなLLMsでも知識の更新を可能にし、モデルタイプにわたる包括的な適用性を確保します。私たちはChroKnowPromptの時間的特性に基づいた包括的な分析を行い、様々なモデルが内在的な時間的知識を引き出す潜在能力を検証しています。

English

Large language models (LLMs) have significantly impacted many aspects of our lives. However, assessing and ensuring their chronological knowledge remains challenging. Existing approaches fall short in addressing the accumulative nature of knowledge, often relying on a single time stamp. To overcome this, we introduce ChroKnowBench, a benchmark dataset designed to evaluate chronologically accumulated knowledge across three key aspects: multiple domains, time dependency, temporal state. Our benchmark distinguishes between knowledge that evolves (e.g., scientific discoveries, amended laws) and knowledge that remain constant (e.g., mathematical truths, commonsense facts). Building on this benchmark, we present ChroKnowledge (Chronological Categorization of Knowledge), a novel sampling-based framework for evaluating and updating LLMs' non-parametric chronological knowledge. Our evaluation shows: (1) The ability of eliciting temporal knowledge varies depending on the data format that model was trained on. (2) LLMs partially recall knowledge or show a cut-off at temporal boundaries rather than recalling all aspects of knowledge correctly. Thus, we apply our ChroKnowPrompt, an in-depth prompting to elicit chronological knowledge by traversing step-by-step through the surrounding time spans. We observe that our framework successfully updates the overall knowledge across the entire timeline in both the biomedical domain (+11.9%) and the general domain (+2.8%), demonstrating its effectiveness in refining temporal knowledge. This non-parametric approach also enables knowledge updates not only in open-source models but also in proprietary LLMs, ensuring comprehensive applicability across model types. We perform a comprehensive analysis based on temporal characteristics of ChroKnowPrompt and validate the potential of various models to elicit intrinsic temporal knowledge through our method.