Рассуждение на основе когорт пациентов со схожими характеристиками в клинических Text-to-SQL системах

Patient-Similarity Cohort Reasoning in Clinical Text-to-SQL

January 14, 2026

Авторы: Yifei Shen, Yilun Zhao, Justice Ou, Tinglin Huang, Arman Cohan

cs.AI

Аннотация

Преобразование клинических текстовых запросов в SQL в реальных условиях требует анализа разнородных таблиц электронных медицинских карт, временных окон и когорт пациентов по схожести для генерации исполняемых запросов. Мы представляем CLINSQL — эталонный набор из 633 экспертно-размеченных задач на основе MIMIC-IV v3.1, требующий многотабличных соединений, клинически значимых фильтров и работоспособного SQL. Решение CLINSQL предполагает навигацию по метаданным схемы и клиническим системам кодирования, обработку длинных контекстов и построение многошаговых запросов, выходящих за рамки традиционного text-to-SQL. Мы оцениваем 22 проприетарные и открытые модели с использованием саморефлексии по методу цепочки мыслей, применяя рубричный анализ SQL с проверкой исполнения, ориентированный на ключевые клинические требования. Несмотря на последние достижения, производительность остается далекой от клинической надежности: на тестовой выборке GPT-5-mini достигает 74.7% по исполнению, DeepSeek-R1 лидирует среди открытых моделей с 69.2%, а Gemini-2.5-Pro снижает результат с 85.5% на простых задачах до 67.2% на сложных. Успехи в решении CLINSQL означают ощутимый прогресс в создании клинически надежных систем text-to-SQL для анализа реальных электронных медицинских карт.

English

Real-world clinical text-to-SQL requires reasoning over heterogeneous EHR tables, temporal windows, and patient-similarity cohorts to produce executable queries. We introduce CLINSQL, a benchmark of 633 expert-annotated tasks on MIMIC-IV v3.1 that demands multi-table joins, clinically meaningful filters, and executable SQL. Solving CLINSQL entails navigating schema metadata and clinical coding systems, handling long contexts, and composing multi-step queries beyond traditional text-to-SQL. We evaluate 22 proprietary and open-source models under Chain-of-Thought self-refinement and use rubric-based SQL analysis with execution checks that prioritize critical clinical requirements. Despite recent advances, performance remains far from clinical reliability: on the test set, GPT-5-mini attains 74.7% execution score, DeepSeek-R1 leads open-source at 69.2% and Gemini-2.5-Pro drops from 85.5% on Easy to 67.2% on Hard. Progress on CLINSQL marks tangible advances toward clinically reliable text-to-SQL for real-world EHR analytics.