Können große Sprachmodelle mithit halten? Benchmarking der Online-Anpassung an kontinuierliche Wissensströme
Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
March 8, 2026
Autoren: Jiyeon Kim, Hyunji Lee, Dylan Zhou, Sue Hyun Park, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Sungmin Cha, Minjoon Seo
cs.AI
Zusammenfassung
LLMs, die in dynamischen realen Kontexten operieren, stoßen häufig auf Wissen, das sich kontinuierlich weiterentwickelt oder schrittweise neu herausbildet. Um präzise und effektiv zu bleiben, müssen Modelle neu eintreffende Informationen ad hoc adaptieren. Wir führen Online Adaptation to Continual Knowledge Streams (OAKS) ein, um diese Fähigkeit zu evaluieren, und etablieren damit einen Benchmark für Online-Adaption über stetig aktualisierte Wissensströme. Konkret ist der Benchmark als eine Abfolge feingranularer Kontextabschnitte strukturiert, in denen sich Fakten über Zeitintervalle hinweg dynamisch verändern. OAKS umfasst zwei Datensätze: OAKS-BABI und OAKS-Novel, in denen sich einzelne Fakten über mehrere Kontextabschnitte hinweg mehrfach wandeln. Diese Datensätze enthalten dichte Annotationen, um zu messen, ob Modelle Änderungen korrekt nachverfolgen. Bei der Evaluation von 14 Modellen mit unterschiedlichen Inferenzansätzen zeigen sich erhebliche Limitationen bestehender Methoden. Sowohl state-of-the-art-Modelle als auch agentenbasierte Gedächtnissysteme scheitern an einer robusten Adaption in OAKS; sie weisen Verzögerungen im Zustands-Tracking und eine Anfälligkeit für Ablenkung in Streaming-Umgebungen auf.
English
LLMs operating in dynamic real-world contexts often encounter knowledge that evolves continuously or emerges incrementally. To remain accurate and effective, models must adapt to newly arriving information on the fly. We introduce Online Adaptation to Continual Knowledge Streams(OAKS) to evaluate this capability, establishing a benchmark for online adaptation over streaming, continually updating knowledge. Specifically, the benchmark is structured as a sequence of fine-grained context chunks where facts change dynamically across time intervals. OAKS comprises two datasets: OAKS-BABI and OAKS-Novel, where individual facts evolve multiple times across context chunks. These datasets include dense annotations to measure whether models track changes accurately. Evaluating 14 models with varied inference approaches, we observe significant limitations in current methodologies. Both state-of-the-art models and agentic memory systems fail to adapt robustly on OAKS, demonstrating delays in state-tracking and susceptibility to distraction within streaming environments.