Treinando LLMs para Recomendar e Deferir em Cuidados com Epilepsia Sub-representados

Resumo

A experiência especializada em epilepsia é escassa em ambientes com recursos limitados, tornando o suporte à decisão baseado em LLM atraente para clínicos da linha de frente que gerenciam tratamento longitudinal. Tais sistemas devem se adaptar à prática local de prescrição e saber quando adiar. Estudamos esse problema no cuidado pediátrico da epilepsia em Uganda, prevendo regimes de medicação antiepiléptica a partir de notas clínicas não estruturadas longitudinais. O prompting padrão atinge uma concordância não trivial com as prescrições médicas, mas a revisão de neurologistas mostra que muitos erros refletem padrões de prescrição com calibração de distribuição inadequada, e não falhas em interpretar o registro local. Apresentamos o MANANA, uma estrutura de aprendizado de prompts não paramétrica que aprende orientações locais de prescrição a partir de um pequeno conjunto de treinamento em nível de paciente. O MANANA converte erros de prescrição observados em memórias de prompt auditáveis, instanciadas em variantes de agente único e multiagente, e supera modelos clássicos de ML, prompting direto de LLM e baselines de otimização de prompts em duas coortes ugandenses coletadas de forma independente. Propomos ainda a média bayesiana de prompts, que converte a trajetória de prompts aprendida em probabilidades de prescrição e um sinal de adiamento baseado em incerteza. Na coorte de validação independente coletada, isso melhora a precisão das três principais prescrições por visita em 4 a 8 pontos percentuais em relação às baselines de otimização de prompts e possibilita a predição seletiva: o sistema pode lidar automaticamente com a metade dos casos mais confiável com 95% de precisão, ou com o quarto mais confiável com 99% de precisão, enquanto adia os casos de menor confiança para revisão especializada.

English

Specialist epilepsy expertise is scarce in resource-constrained settings, making LLM-based decision support attractive for frontline clinicians managing longitudinal treatment. Such systems must adapt to local prescribing practice and know when to defer. We study this problem in Ugandan pediatric epilepsy care, predicting anti-seizure medication regimens from longitudinal unstructured clinic notes. Standard prompting achieves non-trivial agreement with physician prescriptions, but neurologist review shows that many errors reflect distribution-miscalibrated prescribing defaults rather than failures to parse the local record. We introduce MANANA, a non-parametric prompt-learning framework that learns local prescribing guidance from a small patient-level training set. MANANA converts observed prescription errors into auditable prompt memories, instantiated in single-agent and multi-agent variants, and improves over classical ML models, direct LLM prompting, and prompt-optimization baselines across two independently collected Ugandan cohorts. We further propose Bayesian prompt averaging, which converts the learned prompt trajectory into prescription likelihoods and an uncertainty-based deferral signal. On the independently collected held-out cohort, this improves visit-level top-3 prescription accuracy by 4-8 percentage points over prompt-optimization baselines and enables selective prediction: the system can auto-handle the most confident half of cases at 95% precision, or the most confident quarter at 99% precision, while deferring lower-confidence cases for specialist review.