¿Pueden los Modelos de Lenguaje a Gran Escala Mantenerse al Día? Evaluación de la Adaptación en Línea a Flujos Continuos de Conocimiento

Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams

March 8, 2026

Autores: Jiyeon Kim, Hyunji Lee, Dylan Zhou, Sue Hyun Park, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Sungmin Cha, Minjoon Seo

cs.AI

Resumen

Los LLMs que operan en contextos dinámicos del mundo real a menudo encuentran conocimiento que evoluciona continuamente o emerge de forma incremental. Para mantenerse precisos y efectivos, los modelos deben adaptarse sobre la marcha a la información que llega continuamente. Presentamos Adaptación en Línea a Flujos de Conocimiento Continuo (OAKS, por sus siglas en inglés) para evaluar esta capacidad, estableciendo un punto de referencia para la adaptación en línea sobre conocimiento en flujo y actualización continua. Específicamente, el benchmark está estructurado como una secuencia de fragmentos de contexto de grano fino donde los hechos cambian dinámicamente a través de intervalos de tiempo. OAKS comprende dos conjuntos de datos: OAKS-BABI y OAKS-Novel, donde hechos individuales evolucionan múltiples veces a lo largo de los fragmentos de contexto. Estos conjuntos de datos incluyen anotaciones densas para medir si los modelos rastrean los cambios con precisión. Al evaluar 14 modelos con distintos enfoques de inferencia, observamos limitaciones significativas en las metodologías actuales. Tanto los modelos de última generación como los sistemas de memoria agenticos fallan en adaptarse de manera robusta en OAKS, demostrando retrasos en el seguimiento de estados y susceptibilidad a la distracción dentro de entornos de flujo continuo.

English

LLMs operating in dynamic real-world contexts often encounter knowledge that evolves continuously or emerges incrementally. To remain accurate and effective, models must adapt to newly arriving information on the fly. We introduce Online Adaptation to Continual Knowledge Streams(OAKS) to evaluate this capability, establishing a benchmark for online adaptation over streaming, continually updating knowledge. Specifically, the benchmark is structured as a sequence of fine-grained context chunks where facts change dynamically across time intervals. OAKS comprises two datasets: OAKS-BABI and OAKS-Novel, where individual facts evolve multiple times across context chunks. These datasets include dense annotations to measure whether models track changes accurately. Evaluating 14 models with varied inference approaches, we observe significant limitations in current methodologies. Both state-of-the-art models and agentic memory systems fail to adapt robustly on OAKS, demonstrating delays in state-tracking and susceptibility to distraction within streaming environments.