ChroKnowledge: Revelando el Conocimiento Cronológico de Modelos de Lenguaje en Múltiples Dominios

ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains

October 13, 2024

Autores: Yein Park, Chanwoong Yoon, Jungwoo Park, Donghyeon Lee, Minbyul Jeong, Jaewoo Kang

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) han tenido un impacto significativo en muchos aspectos de nuestras vidas. Sin embargo, evaluar y garantizar su conocimiento cronológico sigue siendo un desafío. Los enfoques existentes no logran abordar la naturaleza acumulativa del conocimiento, a menudo dependiendo de una única marca de tiempo. Para superar esto, presentamos ChroKnowBench, un conjunto de datos de referencia diseñado para evaluar el conocimiento acumulado cronológicamente en tres aspectos clave: múltiples dominios, dependencia temporal, estado temporal. Nuestro conjunto de datos de referencia distingue entre el conocimiento que evoluciona (por ejemplo, descubrimientos científicos, leyes modificadas) y el conocimiento que permanece constante (por ejemplo, verdades matemáticas, hechos de sentido común). Sobre la base de este conjunto de datos de referencia, presentamos ChroKnowledge (Categorización Cronológica del Conocimiento), un marco novedoso basado en muestreo para evaluar y actualizar el conocimiento cronológico no paramétrico de los LLMs. Nuestra evaluación muestra: (1) La capacidad de extraer conocimiento temporal varía según el formato de datos en el que el modelo fue entrenado. (2) Los LLMs recuerdan parcialmente el conocimiento o muestran un límite en los límites temporales en lugar de recordar todos los aspectos del conocimiento correctamente. Por lo tanto, aplicamos nuestro ChroKnowPrompt, una solicitud detallada para extraer conocimiento cronológico recorriendo paso a paso los períodos de tiempo circundantes. Observamos que nuestro marco actualiza con éxito el conocimiento general a lo largo de toda la línea de tiempo tanto en el dominio biomédico (+11.9%) como en el dominio general (+2.8%), demostrando su efectividad en refinar el conocimiento temporal. Este enfoque no paramétrico también permite actualizaciones de conocimiento no solo en modelos de código abierto, sino también en LLMs propietarios, garantizando una aplicabilidad integral en todos los tipos de modelos. Realizamos un análisis exhaustivo basado en las características temporales de ChroKnowPrompt y validamos el potencial de varios modelos para extraer conocimiento temporal intrínseco a través de nuestro método.

English

Large language models (LLMs) have significantly impacted many aspects of our lives. However, assessing and ensuring their chronological knowledge remains challenging. Existing approaches fall short in addressing the accumulative nature of knowledge, often relying on a single time stamp. To overcome this, we introduce ChroKnowBench, a benchmark dataset designed to evaluate chronologically accumulated knowledge across three key aspects: multiple domains, time dependency, temporal state. Our benchmark distinguishes between knowledge that evolves (e.g., scientific discoveries, amended laws) and knowledge that remain constant (e.g., mathematical truths, commonsense facts). Building on this benchmark, we present ChroKnowledge (Chronological Categorization of Knowledge), a novel sampling-based framework for evaluating and updating LLMs' non-parametric chronological knowledge. Our evaluation shows: (1) The ability of eliciting temporal knowledge varies depending on the data format that model was trained on. (2) LLMs partially recall knowledge or show a cut-off at temporal boundaries rather than recalling all aspects of knowledge correctly. Thus, we apply our ChroKnowPrompt, an in-depth prompting to elicit chronological knowledge by traversing step-by-step through the surrounding time spans. We observe that our framework successfully updates the overall knowledge across the entire timeline in both the biomedical domain (+11.9%) and the general domain (+2.8%), demonstrating its effectiveness in refining temporal knowledge. This non-parametric approach also enables knowledge updates not only in open-source models but also in proprietary LLMs, ensuring comprehensive applicability across model types. We perform a comprehensive analysis based on temporal characteristics of ChroKnowPrompt and validate the potential of various models to elicit intrinsic temporal knowledge through our method.