Razonamiento de Cohortes por Similitud de Pacientes en Texto Clínico a SQL
Patient-Similarity Cohort Reasoning in Clinical Text-to-SQL
January 14, 2026
Autores: Yifei Shen, Yilun Zhao, Justice Ou, Tinglin Huang, Arman Cohan
cs.AI
Resumen
La conversión de texto clínico a SQL en entornos reales requiere razonamiento sobre tablas heterogéneas de EHR, ventanas temporales y cohortes de similitud de pacientes para producir consultas ejecutables. Presentamos CLINSQL, un benchmark de 633 tareas anotadas por expertos en MIMIC-IV v3.1 que exige uniones multitatabla, filtros clínicamente significativos y SQL ejecutable. Resolver CLINSQL implica navegar por metadatos de esquema y sistemas de codificación clínica, manejar contextos extensos y componer consultas multipaso que van más allá del texto-a-SQL tradicional. Evaluamos 22 modelos propietarios y de código abierto bajo autorrefinamiento de Cadena de Pensamiento, utilizando análisis SQL basado en rúbricas con verificaciones de ejecución que priorizan requisitos clínicos críticos. A pesar de los avances recientes, el rendimiento dista mucho de ser clínicamente confiable: en el conjunto de prueba, GPT-5-mini alcanza un 74.7% de puntuación de ejecución, DeepSeek-R1 lidera el código abierto con 69.2%, y Gemini-2.5-Pro cae del 85.5% en tareas Fáciles al 67.2% en las Difíciles. El progreso en CLINSQL marca avances tangibles hacia un sistema de texto-a-SQL clínicamente confiable para el análisis de EHR en entornos reales.
English
Real-world clinical text-to-SQL requires reasoning over heterogeneous EHR tables, temporal windows, and patient-similarity cohorts to produce executable queries. We introduce CLINSQL, a benchmark of 633 expert-annotated tasks on MIMIC-IV v3.1 that demands multi-table joins, clinically meaningful filters, and executable SQL. Solving CLINSQL entails navigating schema metadata and clinical coding systems, handling long contexts, and composing multi-step queries beyond traditional text-to-SQL. We evaluate 22 proprietary and open-source models under Chain-of-Thought self-refinement and use rubric-based SQL analysis with execution checks that prioritize critical clinical requirements. Despite recent advances, performance remains far from clinical reliability: on the test set, GPT-5-mini attains 74.7% execution score, DeepSeek-R1 leads open-source at 69.2% and Gemini-2.5-Pro drops from 85.5% on Easy to 67.2% on Hard. Progress on CLINSQL marks tangible advances toward clinically reliable text-to-SQL for real-world EHR analytics.