Os Grandes Modelos de Linguagem Conseguem Acompanhar? Avaliação da Adaptação Online a Fluxos Contínuos de Conhecimento
Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
March 8, 2026
Autores: Jiyeon Kim, Hyunji Lee, Dylan Zhou, Sue Hyun Park, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Sungmin Cha, Minjoon Seo
cs.AI
Resumo
Os LLMs que operam em contextos dinâmicos do mundo real frequentemente encontram conhecimentos que evoluem continuamente ou surgem de forma incremental. Para permanecerem precisos e eficazes, os modelos devem adaptar-se dinamicamente a novas informações que chegam em tempo real. Apresentamos a Adaptação Online a Fluxos Contínuos de Conhecimento (OAKS) para avaliar essa capacidade, estabelecendo um benchmark para adaptação online sobre conhecimentos em fluxo e atualização contínua. Especificamente, o benchmark é estruturado como uma sequência de fragmentos contextuais de granularidade fina, nos quais os fatos mudam dinamicamente ao longo de intervalos de tempo. O OAKS compreende dois conjuntos de dados: OAKS-BABI e OAKS-Novel, nos quais fatos individuais evoluem múltiplas vezes entre os fragmentos contextuais. Esses conjuntos incluem anotações densas para medir se os modelos rastreiam as alterações com precisão. Ao avaliar 14 modelos com diferentes abordagens de inferência, observamos limitações significativas nas metodologias atuais. Tanto os modelos de última geração quanto os sistemas de memória agentiva falham em adaptar-se de forma robusta no OAKS, demonstrando atrasos no rastreamento de estado e suscetibilidade a distrações dentro de ambientes de fluxo contínuo.
English
LLMs operating in dynamic real-world contexts often encounter knowledge that evolves continuously or emerges incrementally. To remain accurate and effective, models must adapt to newly arriving information on the fly. We introduce Online Adaptation to Continual Knowledge Streams(OAKS) to evaluate this capability, establishing a benchmark for online adaptation over streaming, continually updating knowledge. Specifically, the benchmark is structured as a sequence of fine-grained context chunks where facts change dynamically across time intervals. OAKS comprises two datasets: OAKS-BABI and OAKS-Novel, where individual facts evolve multiple times across context chunks. These datasets include dense annotations to measure whether models track changes accurately. Evaluating 14 models with varied inference approaches, we observe significant limitations in current methodologies. Both state-of-the-art models and agentic memory systems fail to adapt robustly on OAKS, demonstrating delays in state-tracking and susceptibility to distraction within streaming environments.