Les grands modèles de langage peuvent-ils suivre le rythme ? Évaluation de l'adaptation en ligne à des flux continus de connaissances
Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
March 8, 2026
Auteurs: Jiyeon Kim, Hyunji Lee, Dylan Zhou, Sue Hyun Park, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Sungmin Cha, Minjoon Seo
cs.AI
Résumé
Les modèles de langage évoluant dans des contextes réels dynamiques sont souvent confrontés à des connaissances qui évoluent continuellement ou émergent de manière incrémentale. Pour rester précis et efficaces, les modèles doivent s'adapter à de nouvelles informations arrivant en temps réel. Nous présentons l'Adaptation en Ligne aux Flux de Connaissances Continus (OAKS) pour évaluer cette capacité, en établissant un benchmark pour l'adaptation en ligne sur des connaissances fluides et continuellement mises à jour. Plus précisément, le benchmark est structuré comme une séquence de fragments de contexte à granularité fine où les faits changent dynamiquement à travers des intervalles temporels. OAKS comprend deux ensembles de données : OAKS-BABI et OAKS-Novel, dans lesquels des faits individuels évoluent plusieurs fois à travers les fragments de contexte. Ces ensembles de données incluent des annotations denses pour mesurer si les modèles suivent les changements avec précision. En évaluant 14 modèles avec diverses approches d'inférence, nous observons des limitations significatives dans les méthodologies actuelles. Les modèles les plus performants et les systèmes de mémoire agentique échouent à s'adapter robustement sur OAKS, démontrant des retards dans le suivi d'état et une sensibilité à la distraction dans des environnements de flux continu.
English
LLMs operating in dynamic real-world contexts often encounter knowledge that evolves continuously or emerges incrementally. To remain accurate and effective, models must adapt to newly arriving information on the fly. We introduce Online Adaptation to Continual Knowledge Streams(OAKS) to evaluate this capability, establishing a benchmark for online adaptation over streaming, continually updating knowledge. Specifically, the benchmark is structured as a sequence of fine-grained context chunks where facts change dynamically across time intervals. OAKS comprises two datasets: OAKS-BABI and OAKS-Novel, where individual facts evolve multiple times across context chunks. These datasets include dense annotations to measure whether models track changes accurately. Evaluating 14 models with varied inference approaches, we observe significant limitations in current methodologies. Both state-of-the-art models and agentic memory systems fail to adapt robustly on OAKS, demonstrating delays in state-tracking and susceptibility to distraction within streaming environments.