LLM's trainen om te adviseren en door te verwijzen in ondervertegenwoordigde epilepsiezorg

Samenvatting

Specialistische expertise op het gebied van epilepsie is schaars in omgevingen met beperkte middelen, waardoor LLM-gebaseerde beslissingsondersteuning aantrekkelijk wordt voor frontline clinici die langdurige behandelingen beheren. Dergelijke systemen moeten zich aanpassen aan de lokale voorschrijfpraktijken en weten wanneer ze moeten delegeren. Wij bestuderen dit probleem in de context van pediatrische epilepsiezorg in Oeganda, waarbij we anti-epileptische medicatieregimes voorspellen op basis van longitudinale ongestructureerde klinische notities. Standaard prompting behaalt een niet-triviale overeenkomst met voorschriften van artsen, maar beoordeling door neurologen toont aan dat veel fouten voortkomen uit distributie-gekalibreerde voorschrijfstandaarden in plaats van een falen om de lokale registratie te interpreteren. Wij introduceren MANANA, een niet-parametrisch prompt-leerframework dat lokale voorschrijfrichtlijnen leert uit een kleine trainingsset op patiëntniveau. MANANA zet waargenomen voorschrijffouten om in controleerbare promptherinneringen, geïmplementeerd in varianten met één of meerdere agenten, en presteert beter dan klassieke ML-modellen, direct LLM-prompting en prompt-optimalisatie-baselines in twee onafhankelijk verzamelde Oegandese cohorten. Verder stellen we Bayesiaanse promptmiddeling voor, die de geleerde prompttrajectorie omzet in voorschrijfwaarschijnlijkheden en een op onzekerheid gebaseerd uitstelsignaal. In het onafhankelijk verzamelde aparte cohort verbetert dit de top-3-voorschrijfnauwkeurigheid per consult met 4-8 procentpunten ten opzichte van prompt-optimalisatie-baselines en maakt het selectieve voorspelling mogelijk: het systeem kan automatisch de helft van de meest zekere gevallen afhandelen met 95% precisie, of het kwart van de meest zekere gevallen met 99% precisie, terwijl minder zekere gevallen worden uitgesteld voor specialistische beoordeling.

English

Specialist epilepsy expertise is scarce in resource-constrained settings, making LLM-based decision support attractive for frontline clinicians managing longitudinal treatment. Such systems must adapt to local prescribing practice and know when to defer. We study this problem in Ugandan pediatric epilepsy care, predicting anti-seizure medication regimens from longitudinal unstructured clinic notes. Standard prompting achieves non-trivial agreement with physician prescriptions, but neurologist review shows that many errors reflect distribution-miscalibrated prescribing defaults rather than failures to parse the local record. We introduce MANANA, a non-parametric prompt-learning framework that learns local prescribing guidance from a small patient-level training set. MANANA converts observed prescription errors into auditable prompt memories, instantiated in single-agent and multi-agent variants, and improves over classical ML models, direct LLM prompting, and prompt-optimization baselines across two independently collected Ugandan cohorts. We further propose Bayesian prompt averaging, which converts the learned prompt trajectory into prescription likelihoods and an uncertainty-based deferral signal. On the independently collected held-out cohort, this improves visit-level top-3 prescription accuracy by 4-8 percentage points over prompt-optimization baselines and enables selective prediction: the system can auto-handle the most confident half of cases at 95% precision, or the most confident quarter at 99% precision, while deferring lower-confidence cases for specialist review.