ХроЗнание: Раскрывая Хронологические Знания Языковых Моделей в Нескольких Областях

ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains

October 13, 2024

Авторы: Yein Park, Chanwoong Yoon, Jungwoo Park, Donghyeon Lee, Minbyul Jeong, Jaewoo Kang

cs.AI

Аннотация

Большие языковые модели (LLM) значительно повлияли на многие аспекты нашей жизни. Однако оценка и обеспечение их хронологических знаний остаются сложными задачами. Существующие подходы не справляются с учетом накопительного характера знаний, часто опираясь на один временной штамп. Для преодоления этого мы представляем ChroKnowBench, набор данных для оценки хронологически накапливающихся знаний по трем ключевым аспектам: множественные области, зависимость от времени, временное состояние. Наш набор данных различает знания, которые развиваются (например, научные открытия, измененные законы) и знания, которые остаются постоянными (например, математические истины, здравый смысл). Основываясь на этом наборе данных, мы представляем ChroKnowledge (Хронологическая категоризация знаний), новую основанную на выборке структуру для оценки и обновления не параметрических хронологических знаний LLM. Наша оценка показывает: (1) Способность извлечения временных знаний варьируется в зависимости от формата данных, на которых была обучена модель. (2) LLM частично вспоминают знания или показывают обрыв на временных границах, вместо того чтобы правильно вспомнить все аспекты знаний. Таким образом, мы применяем наш ChroKnowPrompt, подробное побуждение для извлечения хронологических знаний, проходя шаг за шагом через окружающие временные промежутки. Мы наблюдаем, что наша структура успешно обновляет общие знания на протяжении всего временного промежутка как в биомедицинской области (+11.9%), так и в общей области (+2.8%), демонстрируя ее эффективность в уточнении временных знаний. Этот не параметрический подход также позволяет обновлять знания не только в моделях с открытым исходным кодом, но и в собственных LLM, обеспечивая всеобъемлющую применимость для различных типов моделей. Мы проводим комплексный анализ на основе временных характеристик ChroKnowPrompt и подтверждаем потенциал различных моделей для извлечения внутренних временных знаний через наш метод.

English

Large language models (LLMs) have significantly impacted many aspects of our lives. However, assessing and ensuring their chronological knowledge remains challenging. Existing approaches fall short in addressing the accumulative nature of knowledge, often relying on a single time stamp. To overcome this, we introduce ChroKnowBench, a benchmark dataset designed to evaluate chronologically accumulated knowledge across three key aspects: multiple domains, time dependency, temporal state. Our benchmark distinguishes between knowledge that evolves (e.g., scientific discoveries, amended laws) and knowledge that remain constant (e.g., mathematical truths, commonsense facts). Building on this benchmark, we present ChroKnowledge (Chronological Categorization of Knowledge), a novel sampling-based framework for evaluating and updating LLMs' non-parametric chronological knowledge. Our evaluation shows: (1) The ability of eliciting temporal knowledge varies depending on the data format that model was trained on. (2) LLMs partially recall knowledge or show a cut-off at temporal boundaries rather than recalling all aspects of knowledge correctly. Thus, we apply our ChroKnowPrompt, an in-depth prompting to elicit chronological knowledge by traversing step-by-step through the surrounding time spans. We observe that our framework successfully updates the overall knowledge across the entire timeline in both the biomedical domain (+11.9%) and the general domain (+2.8%), demonstrating its effectiveness in refining temporal knowledge. This non-parametric approach also enables knowledge updates not only in open-source models but also in proprietary LLMs, ensuring comprehensive applicability across model types. We perform a comprehensive analysis based on temporal characteristics of ChroKnowPrompt and validate the potential of various models to elicit intrinsic temporal knowledge through our method.