RealICU: Agentes LLM compreendem dados de UTI de contexto longo? Um benchmark além da imitação de comportamento

Resumo

Unidades de terapia intensiva (UTI) geram fluxos longos, densos e evolutivos de informações clínicas, onde médicos precisam reavaliar repetidamente o estado dos pacientes sob pressão de tempo, evidenciando uma clara necessidade de suporte decisório confiável baseado em IA. Os benchmarks existentes para UTI geralmente tratam ações históricas dos clínicos como padrão ouro. No entanto, essas ações são tomadas com informações incompletas e contexto temporal limitado do estado subjacente do paciente, podendo, portanto, ser subótimas, dificultando a avaliação das reais capacidades de raciocínio dos sistemas de IA. Apresentamos o RealICU, um benchmark com anotações retrospectivas para avaliar grandes modelos de linguagem (LLMs) em condições realistas de UTI, onde os rótulos são criados após médicos seniores revisarem toda a trajetória do paciente. Definimos quatro tarefas motivadas por médicos: Avaliar Estado do Paciente, Problemas Agudos, Ações Recomendadas e ações de Alerta Vermelho que acarretam riscos de desfechos inseguros. Particionamos cada trajetória em janelas de 30 minutos e disponibilizamos dois conjuntos de dados: RealICU-Gold, com 930 anotações de janelas de 94 pacientes do MIMIC-IV, e RealICU-Scale, com 11.862 janelas estendidas pelo Oracle, um rotulador retrospectivo de LLM validado por médicos. Os LLMs existentes, incluindo aqueles com memória aumentada, tiveram desempenho insatisfatório no RealICU, expondo dois modos de falha: um trade-off entre recordação e segurança para recomendações clínicas, e um viés de ancoragem a interpretações precoces do paciente. Introduzimos ainda o ICU-Evo para estudar agentes com memória estruturada que melhora o raciocínio de longo horizonte, mas não elimina completamente as falhas de segurança. Em conjunto, o RealICU fornece uma plataforma de testes clinicamente fundamentada para medir e aprimorar o suporte decisório sequencial de IA em cuidados de alto risco. Página do projeto: https://chengzhi-leo.github.io/RealICU-Bench/

English

Intensive care units (ICU) generate long, dense and evolving streams of clinical information, where physicians must repeatedly reassess patient states under time pressure, underscoring a clear need for reliable AI decision support. Existing ICU benchmarks typically treat historical clinician actions as ground truth. However, these actions are made under incomplete information and limited temporal context of the underlying patient state, and may therefore be suboptimal, making it difficult to assess the true reasoning capabilities of AI systems. We introduce RealICU, a hindsight-annotated benchmark for evaluating large language models (LLMs) under realistic ICU conditions, where labels are created after senior physicians review the full patient trajectory. We formulate four physician-motivated tasks: assess Patient Status, Acute Problems, Recommended Actions, and Red Flag actions that risk unsafe outcomes. We partition each trajectory with 30-min windows and release two datasets: RealICU-Gold with 930-window annotations from 94 MIMIC-IV patients, and RealICU-Scale with 11,862 windows extended by Oracle, a physician-validated LLM hindsight labeler. Existing LLMs including memory-augmented ones performed poorly on RealICU, exposing two failure modes: a recall-safety tradeoff for clinical recommendations, and an anchoring bias to early interpretations of the patient. We further introduce ICU-Evo to study structured-memory agents that improves long-horizon reasoning but does not fully eliminate safety failures. Together, RealICU provides a clinically grounded testbed for measuring and improving AI sequential decision-support in high-stakes care. Project page: https://chengzhi-leo.github.io/RealICU-Bench/