I modelli linguistici di grandi dimensioni riescono a tenere il passo? Benchmarking sull'adattamento online a flussi continui di conoscenza

Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams

March 8, 2026

Autori: Jiyeon Kim, Hyunji Lee, Dylan Zhou, Sue Hyun Park, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Sungmin Cha, Minjoon Seo

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) che operano in contesti reali dinamici si trovano spesso ad affrontare conoscenze in continua evoluzione o che emergono in modo incrementale. Per mantenere accuratezza ed efficacia, i modelli devono adattarsi alle nuove informazioni in arrivo in tempo reale. Introduciamo Online Adaptation to Continual Knowledge Streams (OAKS) per valutare questa capacità, stabilendo un benchmark per l'adattamento online su flussi di conoscenza in continuo aggiornamento. Nello specifico, il benchmark è strutturato come una sequenza di chunk contestuali granulari in cui i fatti cambiano dinamicamente attraverso intervalli temporali. OAKS comprende due dataset: OAKS-BABI e OAKS-Novel, in cui singoli fatti evolvono più volte attraverso i chunk contestuali. Questi dataset includono annotazioni dense per misurare se i modelli tracciano i cambiamenti in modo accurato. Valutando 14 modelli con diversi approcci inferenziali, osserviamo limitazioni significative nelle metodologie attuali. Sia i modelli all'avanguardia che i sistemi di memoria agentici non riescono ad adattarsi in modo robusto su OAKS, dimostrando ritardi nel tracciamento dello stato e suscettibilità alla distrazione all'interno di ambienti di streaming.

English

LLMs operating in dynamic real-world contexts often encounter knowledge that evolves continuously or emerges incrementally. To remain accurate and effective, models must adapt to newly arriving information on the fly. We introduce Online Adaptation to Continual Knowledge Streams(OAKS) to evaluate this capability, establishing a benchmark for online adaptation over streaming, continually updating knowledge. Specifically, the benchmark is structured as a sequence of fine-grained context chunks where facts change dynamically across time intervals. OAKS comprises two datasets: OAKS-BABI and OAKS-Novel, where individual facts evolve multiple times across context chunks. These datasets include dense annotations to measure whether models track changes accurately. Evaluating 14 models with varied inference approaches, we observe significant limitations in current methodologies. Both state-of-the-art models and agentic memory systems fail to adapt robustly on OAKS, demonstrating delays in state-tracking and susceptibility to distraction within streaming environments.