Patiënt-gelijkende Cohort Redenering in Klinische Tekst-naar-SQL
Patient-Similarity Cohort Reasoning in Clinical Text-to-SQL
January 14, 2026
Auteurs: Yifei Shen, Yilun Zhao, Justice Ou, Tinglin Huang, Arman Cohan
cs.AI
Samenvatting
Text-naar-SQL in de klinische praktijk vereist redeneren over heterogene EHR-tabellen, temporele vensters en patiënt-gelijkende cohorten om uitvoerbare queries te produceren. Wij introduceren CLINSQL, een benchmark met 633 expert-geannoteerde taken op MIMIC-IV v3.1 die multi-tabel joins, klinisch betekenisvolle filters en uitvoerbare SQL vereisen. Het oplossen van CLINSQL vereist het navigeren door schema-metadata en klinische coderingssystemen, het verwerken van lange contexten en het samenstellen van meerstaps queries die verder gaan dan traditionele text-naar-SQL. Wij evalueren 22 propriëtaire en open-source modellen onder Chain-of-Thought zelf-verfijning en gebruiken rubriek-gebaseerde SQL-analyse met uitvoeringscontroles die kritieke klinische vereisten prioriteren. Ondanks recente vooruitgang blijft de prestaties ver verwijderd van klinische betrouwbaarheid: op de testset behaalt GPT-5-mini 74.7% uitvoeringsscore, DeepSeek-R1 leidt de open-source modellen met 69.2% en Gemini-2.5-Pro daalt van 85.5% op Makkelijk naar 67.2% op Moeilijk. Vooruitgang op CLINSQL markeert tastbare vorderingen richting klinisch betrouwbare text-naar-SQL voor real-world EHR-analyses.
English
Real-world clinical text-to-SQL requires reasoning over heterogeneous EHR tables, temporal windows, and patient-similarity cohorts to produce executable queries. We introduce CLINSQL, a benchmark of 633 expert-annotated tasks on MIMIC-IV v3.1 that demands multi-table joins, clinically meaningful filters, and executable SQL. Solving CLINSQL entails navigating schema metadata and clinical coding systems, handling long contexts, and composing multi-step queries beyond traditional text-to-SQL. We evaluate 22 proprietary and open-source models under Chain-of-Thought self-refinement and use rubric-based SQL analysis with execution checks that prioritize critical clinical requirements. Despite recent advances, performance remains far from clinical reliability: on the test set, GPT-5-mini attains 74.7% execution score, DeepSeek-R1 leads open-source at 69.2% and Gemini-2.5-Pro drops from 85.5% on Easy to 67.2% on Hard. Progress on CLINSQL marks tangible advances toward clinically reliable text-to-SQL for real-world EHR analytics.