RealICU: Begrijpen LLM-agenten IC-gegevens met lange context? Een benchmark voorbij gedragsimitatie.

Samenvatting

Intensive care units (ICU) genereren lange, dichte en evoluerende stromen klinische informatie, waarbij artsen herhaaldelijk de toestand van patiënten moeten herbeoordelen onder tijdsdruk, wat de duidelijke noodzaak onderstreept van betrouwbare AI-beslissingsondersteuning. Bestaande ICU-benchmarks behandelen historische acties van clinici doorgaans als ground truth. Deze acties worden echter genomen onder onvolledige informatie en een beperkte temporele context van de onderliggende patiënttoestand, en kunnen daarom suboptimaal zijn, waardoor het moeilijk is om de werkelijke redeneercapaciteiten van AI-systemen te beoordelen. We introduceren RealICU, een hindsight-geannoteerde benchmark voor het evalueren van grote taalmodellen (LLMs) onder realistische ICU-omstandigheden, waar labels worden gemaakt nadat senior artsen het volledige patiënttraject hebben beoordeeld. We formuleren vier door artsen gemotiveerde taken: beoordeel Patiëntstatus, Acute Problemen, Aanbevolen Acties en Rode Vlag-acties die risico lopen op onveilige uitkomsten. We verdelen elk traject in vensters van 30 minuten en geven twee datasets vrij: RealICU-Goud met 930 vensterannotaties van 94 MIMIC-IV-patiënten, en RealICU-Schaal met 11.862 vensters uitgebreid door Oracle, een door artsen gevalideerde LLM hindsight-labeler. Bestaande LLMs, inclusief geheugen-verbeterde, presteerden slecht op RealICU, waarbij twee faalmodi aan het licht kwamen: een recall-veiligheid afweging voor klinische aanbevelingen, en een verankeringsbias ten opzichte van vroege interpretaties van de patiënt. We introduceren verder ICU-Evo om gestructureerde geheugenagenten te bestuderen die het redeneren over lange termijn verbeteren maar veiligheidsfalen niet volledig elimineren. Samen biedt RealICU een klinisch onderbouwd testbed voor het meten en verbeteren van AI-sequentiële beslissingsondersteuning in hoog-risico zorg. Projectpagina: https://chengzhi-leo.github.io/RealICU-Bench/

English

Intensive care units (ICU) generate long, dense and evolving streams of clinical information, where physicians must repeatedly reassess patient states under time pressure, underscoring a clear need for reliable AI decision support. Existing ICU benchmarks typically treat historical clinician actions as ground truth. However, these actions are made under incomplete information and limited temporal context of the underlying patient state, and may therefore be suboptimal, making it difficult to assess the true reasoning capabilities of AI systems. We introduce RealICU, a hindsight-annotated benchmark for evaluating large language models (LLMs) under realistic ICU conditions, where labels are created after senior physicians review the full patient trajectory. We formulate four physician-motivated tasks: assess Patient Status, Acute Problems, Recommended Actions, and Red Flag actions that risk unsafe outcomes. We partition each trajectory with 30-min windows and release two datasets: RealICU-Gold with 930-window annotations from 94 MIMIC-IV patients, and RealICU-Scale with 11,862 windows extended by Oracle, a physician-validated LLM hindsight labeler. Existing LLMs including memory-augmented ones performed poorly on RealICU, exposing two failure modes: a recall-safety tradeoff for clinical recommendations, and an anchoring bias to early interpretations of the patient. We further introduce ICU-Evo to study structured-memory agents that improves long-horizon reasoning but does not fully eliminate safety failures. Together, RealICU provides a clinically grounded testbed for measuring and improving AI sequential decision-support in high-stakes care. Project page: https://chengzhi-leo.github.io/RealICU-Bench/