ChroKnowledge: Enthüllung des chronologischen Wissens von Sprachmodellen in mehreren Domänen

ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains

October 13, 2024

Autoren: Yein Park, Chanwoong Yoon, Jungwoo Park, Donghyeon Lee, Minbyul Jeong, Jaewoo Kang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben signifikanten Einfluss auf viele Aspekte unseres Lebens. Die Bewertung und Sicherstellung ihres chronologischen Wissens bleibt jedoch eine Herausforderung. Bestehende Ansätze sind unzureichend, um die akkumulative Natur des Wissens zu berücksichtigen und verlassen sich oft auf einen einzigen Zeitstempel. Um dies zu überwinden, stellen wir ChroKnowBench vor, einen Benchmark-Datensatz, der entwickelt wurde, um chronologisch akkumuliertes Wissen in drei Schlüsselaspekten zu bewerten: multiple Domänen, Zeitabhängigkeit, zeitlicher Zustand. Unser Benchmark unterscheidet zwischen Wissen, das sich entwickelt (z. B. wissenschaftliche Entdeckungen, geänderte Gesetze) und Wissen, das konstant bleibt (z. B. mathematische Wahrheiten, Alltagsfakten). Aufbauend auf diesem Benchmark präsentieren wir ChroKnowledge (Chronologische Kategorisierung des Wissens), ein neuartiges sampling-basiertes Framework zur Bewertung und Aktualisierung des nicht-parametrischen chronologischen Wissens von LLMs. Unsere Evaluation zeigt: (1) Die Fähigkeit, zeitliches Wissen zu erlangen, variiert je nach Datenformat, auf dem das Modell trainiert wurde. (2) LLMs rufen Wissen teilweise ab oder zeigen einen Abbruch an zeitlichen Grenzen, anstatt alle Aspekte des Wissens korrekt abzurufen. Daher wenden wir unser ChroKnowPrompt an, eine eingehende Aufforderung, um chronologisches Wissen zu erlangen, indem wir schrittweise durch die umliegenden Zeitspannen gehen. Wir beobachten, dass unser Framework das Gesamtwissen über die gesamte Zeitspanne sowohl in der biomedizinischen Domäne (+11,9%) als auch in der allgemeinen Domäne (+2,8%) erfolgreich aktualisiert, was seine Wirksamkeit bei der Verfeinerung des zeitlichen Wissens zeigt. Dieser nicht-parametrische Ansatz ermöglicht auch Wissensaktualisierungen nicht nur in Open-Source-Modellen, sondern auch in proprietären LLMs und gewährleistet eine umfassende Anwendbarkeit über Modelltypen hinweg. Wir führen eine umfassende Analyse basierend auf den zeitlichen Eigenschaften von ChroKnowPrompt durch und validieren das Potenzial verschiedener Modelle, intrinsisches zeitliches Wissen durch unsere Methode zu erlangen.

English

Large language models (LLMs) have significantly impacted many aspects of our lives. However, assessing and ensuring their chronological knowledge remains challenging. Existing approaches fall short in addressing the accumulative nature of knowledge, often relying on a single time stamp. To overcome this, we introduce ChroKnowBench, a benchmark dataset designed to evaluate chronologically accumulated knowledge across three key aspects: multiple domains, time dependency, temporal state. Our benchmark distinguishes between knowledge that evolves (e.g., scientific discoveries, amended laws) and knowledge that remain constant (e.g., mathematical truths, commonsense facts). Building on this benchmark, we present ChroKnowledge (Chronological Categorization of Knowledge), a novel sampling-based framework for evaluating and updating LLMs' non-parametric chronological knowledge. Our evaluation shows: (1) The ability of eliciting temporal knowledge varies depending on the data format that model was trained on. (2) LLMs partially recall knowledge or show a cut-off at temporal boundaries rather than recalling all aspects of knowledge correctly. Thus, we apply our ChroKnowPrompt, an in-depth prompting to elicit chronological knowledge by traversing step-by-step through the surrounding time spans. We observe that our framework successfully updates the overall knowledge across the entire timeline in both the biomedical domain (+11.9%) and the general domain (+2.8%), demonstrating its effectiveness in refining temporal knowledge. This non-parametric approach also enables knowledge updates not only in open-source models but also in proprietary LLMs, ensuring comprehensive applicability across model types. We perform a comprehensive analysis based on temporal characteristics of ChroKnowPrompt and validate the potential of various models to elicit intrinsic temporal knowledge through our method.